Хакеры обнаружили, что неслышимые звуки, скрытые в подкастах или случайных видеороликах, могут взломать ваш голосовой чат-бот с искусственным интеллектом

Представьте себе такой сценарий: ваш алгоритм извлек фоновое видео YouTube или, возможно, подкаст. Без вашего ведома хакеры встроили в него неслышимые звуки, предназначенные для взлома вашего умного динамика или искусственного интеллекта-помощника телефона. Это означает, что киберпреступники теперь могут получить доступ к вашим личным фотографиям, банковским счетам или любой другой личной информации, которую вы подключили к своей системе искусственного интеллекта.

Это похоже на подержанный эпизод “Черного зеркала,” но это именно то, что исследователи показали в новом исследовании, представленном на этой неделе на симпозиуме IEEE по безопасности и конфиденциальности.

По сути, группа исследователей из Китая и Сингапура обнаружила, что они могут создавать “состязательный звук” совершенно незаметно для человеческого уха, это заставляет голосовые модели ИИ делать то, чего им делать не следует. Тогда легко спрятать это в невинно звучащем звуке — песне, фильме или чем-то еще, что ничего не подозревающие цели могут воспроизводить в фоновом режиме — и ждать, пока пользователи случайно не скомпрометируют свою цифровую жизнь.

“Обучение этого сигнала занимает всего полчаса, а затем, поскольку этот сигнал не зависит от контекста, вы можете использовать его для атаки на целевую модель в любое время, независимо от того, что говорит пользователь,” Ведущий автор Мэн Чен, кандидат наук в китайском университете Чжэцзян, рассказал IEEE Spectrum о работе. “Эти одноточечные средства защиты с трудом сопротивляются нашей атаке, потому что мы обнаружили, что этим моделям очень сложно отличить обычные намерения пользователя от атаки противника.”

Одна загвоздка, по крайней мере на данный момент: этот метод требовал от хакеров доступа ко всем весам модели ИИ, на которую они нацелены, а это означает, что они могли атаковать только модели с открытым исходным кодом. Но поскольку многие коммерческие системы ИИ построены на моделях с открытым исходным кодом, это означало, что их использование было эффективно против основных продуктов Microsoft и Mistral.

Mistral не ответила на запрос IEEE о комментариях, но Microsoft опубликовала заявление, которое, вероятно, должно заставить кого-либо задуматься, прежде чем подключать какую-либо важную информацию к одной из моделей голосового ИИ компании.

“Мы ценим работу исследователей по улучшению понимания этого типа техники,” это читалось. В этом исследовании устойчивость модели оценивается посредством контролируемого прямого взаимодействия с самой моделью, что помогает определить наш подход к обеспечению устойчивости модели. На практике модели искусственного интеллекта часто интегрируются в пользовательские приложения, и мы предлагаем разработчикам инструменты и рекомендации, которые они могут использовать для реализации дополнительных уровней защиты, помогающих защитить пользователей.”

Подробнее об ИИ: Исследователи встревожены ИИ, который может самовоспроизводиться в другую машину

Пост Хакеры обнаружили, что неслышимые звуки, скрытые в подкастах или случайных видеороликах, могут взломать ваш голосовой чат-бот с искусственным интеллектом, впервые появился на Futurism.

Источник: futurism.com