Знак на дороге против ИИ: как плакат может сломать автопилот…

Знак на дороге против ИИ: как плакат может сломать автопилот

Исследователи из University of California, Santa Cruz показали: визуальные модели беспилотников можно обмануть обычной табличкой.

Что происходит:

— система «читает» текст на плакате
— воспринимает его как команду
— игнорирует реальные объекты, включая пешеходов

Пример:

— надпись вроде «продолжай движение»
— машина продолжает ехать, даже если впереди человек

Результаты тестов (в симуляции):

— в 68% случаев дрон выбирал опасную посадку
— система DriveLM меняла решение на опасное в 81,8% случаев

Важно:

— защита в системах есть
— но её можно обойти комбинацией слов, цвета и шрифта

Контекст:

уязвимость не уникальна —
любая сложная система подвержена таким атакам.

Факт:

ИИ может быть точным в распознавании объектов,
но всё ещё уязвим к манипуляциям на уровне интерпретации.