Голосовые ИИ можно атаковать звуком, который человек даже не замечает…

Голосовые ИИ можно атаковать звуком, который человек даже не замечает

Исследователи из Китая и Сингапура показали новый тип атак на voice AI.

Скрытую команду можно встроить:
— в музыку
— подкаст
— Zoom-звонок
— YouTube-видео
— обычную аудиозапись

Человек слышит почти нормальный звук.

А вот ИИ-ассистент — полноценную инструкцию.

Что удавалось сделать в тестах:

— подменять ответы модели
— заставлять игнорировать настоящий запрос
— вставлять вредоносные ссылки
— вытаскивать приватные данные

Самое неприятное — атака хорошо переносится между моделями.

То есть exploit, подготовленный на open-source системе, часто работал и против коммерческих voice-агентов.

В тестах на 13 моделях:
— от 79% до 96%

Причём стандартные защиты помогали плохо:
— дообучение на suspicious-командах снижало эффективность атаки лишь на несколько процентов.

Главная проблема здесь фундаментальная:

современные voice-модели плохо понимают разницу между:
— «данными для анализа»
и
— «инструкцией для выполнения»

Для человека это просто звук.
Для модели — потенциальный промт.

Похоже, voice AI постепенно получает те же проблемы безопасности, которые раньше появились у LLM — только теперь prompt injection можно спрятать прямо внутри аудио.