Искусственный Интеллект Microsoft может быть превращен в Автоматизированную Фишинговую Машину

Новые исследования показывают, что атаки на ИИ второго пилота Microsoft позволяют манипулировать ответами, извлекать данные и обходить средства защиты.

Microsoft стремилась сделать генеративный ИИ основой своих систем. Задайте вопрос о предстоящей встрече, и система искусственного интеллекта Copilot компании сможет получить ответы из ваших электронных писем, командных чатов и файлов, что потенциально повысит производительность. Но именно этими процессами могут воспользоваться хакеры.

Сегодня на конференции Black Hat security conference в Лас-Вегасе исследователь Майкл Баргури (Michael Bargury) демонстрирует пять проверенных на практике способов, с помощью которых злоумышленники могут манипулировать программой Copilot, которая работает в приложениях Microsoft 365, таких как Word, в том числе использовать ее для предоставления ложных ссылок на файлы, утечки некоторых личных данных, и обходить меры безопасности Microsoft.

Пожалуй, одним из самых тревожных проявлений является способность Баргури превратить искусственный интеллект в автоматическую машину для фишинга. Созданный Баргури код red teaming, получивший название LOLCopilot, может — что особенно важно, если хакер получит доступ к чьей—либо рабочей электронной почте — использовать Copilot, чтобы узнать, кому вы регулярно отправляете электронные письма, составить сообщение, имитирующее ваш стиль письма (включая использование эмодзи), и отправить персонализированное сообщение, которое может содержать вредоносную ссылку или прикрепленный текст. вредоносное ПО.

“Я могу сделать это со всеми, с кем вы когда-либо общались, и могу отправить сотни электронных писем от вашего имени”, — говорит Баргури, соучредитель и технический директор охранной компании Zenity, который опубликовал свои выводы вместе с видеороликами, демонстрирующими, как второй пилот мог подвергнуться насилию. “Хакер потратил бы несколько дней на создание правильного электронного письма, чтобы заставить вас нажать на него, но он может сгенерировать сотни таких писем за несколько минут”.

Эта демонстрация, как и в случае с другими атаками, созданными Bargury, в целом работает с использованием разработанной модели large language model (LLM): ввод письменных вопросов для доступа к данным, которые может получить искусственный интеллект. Однако она может привести к вредоносным результатам, включив дополнительные данные или инструкции для выполнения определенных действий. Исследование освещает некоторые проблемы, связанные с подключением систем искусственного интеллекта к корпоративным данным, и то, что может произойти, когда в дело вступают “ненадежные” внешние данные, особенно когда ИИ выдает ответы, которые могут выглядеть как законные результаты.

Среди других атак, созданных Баргури, есть демонстрация того, как хакер, который, опять же, должно быть, уже взломал учетную запись электронной почты, может получить доступ к конфиденциальной информации, такой как зарплаты сотрудников, не задействуя средства защиты конфиденциальных файлов Microsoft. При запросе данных в запросе Баргури указывается, что система не предоставляет ссылок на файлы, из которых были взяты данные. “Немного издевательств действительно помогает”, — говорит Баргури.

В других примерах он показывает, как злоумышленник, у которого нет доступа к учетным записям электронной почты, но который отравляет базу данных искусственного интеллекта, отправляя ему вредоносное электронное письмо, может манипулировать ответами о банковской информации, чтобы предоставить свои собственные банковские реквизиты. “Каждый раз, когда вы предоставляете ИИ доступ к данным, это дает злоумышленнику возможность проникнуть внутрь”, — говорит Баргури.

Другая демонстрация показывает, как внешний хакер может получить некоторую ограниченную информацию о том, будет ли предстоящий отчет о доходах компании хорошим или плохим, в то время как последний пример, по словам Баргури, превращает Copilot в “злонамеренного инсайдера”, предоставляя пользователям ссылки на фишинговые веб-сайты.

Филлип Миснер, руководитель отдела обнаружения инцидентов с ИИ и реагирования на них в Microsoft, говорит, что компания ценит то, что Баргури обнаружил уязвимость, и что они работали с ним над оценкой результатов. “Риски злоупотребления ИИ после взлома аналогичны рискам других методов взлома после взлома», — говорит Миснер. “Предотвращение и мониторинг безопасности в различных средах и идентификационных данных помогают смягчить или пресечь такое поведение”.

По мере развития за последние два года таких систем искусственного интеллекта, как OpenAI ChatGPT, Microsoft Copilot и Google Gemini, они вышли на траекторию, по которой в конечном итоге могут выполнять задачи для людей, такие как бронирование встреч или онлайн-покупки. Однако исследователи в области безопасности постоянно подчеркивают, что доступ к внешним данным в системах искусственного интеллекта, например, через электронную почту или доступ к контенту с веб-сайтов, создает риски для безопасности из-за косвенных быстрых инъекций и отравляющих атак.

“Я думаю, что еще не все до конца понимают, насколько эффективнее на самом деле может стать атакующий”, — говорит Йоханн Ребергер, исследователь в области безопасности и директор red team, который подробно продемонстрировал слабые места в системах ИИ. “То, о чем мы должны беспокоиться сейчас, — это то, что на самом деле производит LLM и отправляет пользователю”.

Баргури говорит, что Microsoft приложила немало усилий для защиты своей системы второго пилота от атак с помощью быстрого внедрения, но он говорит, что нашел способы использовать это, разобравшись в том, как построена система. По его словам, это включало в себя извлечение внутренней системной подсказки и разработку того, как ит-отдел может получить доступ к корпоративным ресурсам и какие методы он использует для этого. “Вы общаетесь со вторым пилотом, и это ограниченный круг общения, потому что Microsoft внедрила множество средств контроля”, — говорит он. “Но стоит вам произнести несколько волшебных слов, и все откроется, и вы сможете делать все, что захотите”.

Ребергер предупреждает, что некоторые проблемы с данными связаны с давней проблемой компаний, которые предоставляют доступ к файлам слишком большому количеству сотрудников и неправильно устанавливают права доступа в своих организациях. “Теперь представьте, что вы поручили решение этой проблемы второму пилоту”, — говорит Ребергер. Он говорит, что использовал системы искусственного интеллекта для поиска распространенных паролей, таких как Password123, и это дало результаты внутри компаний.

И Ребергер, и Баргури говорят, что необходимо уделять больше внимания мониторингу того, что ИИ производит и отправляет пользователям. “Риск заключается в том, как ИИ взаимодействует с вашей средой, как он взаимодействует с вашими данными, как он выполняет операции от вашего имени», — говорит Баргури. “Вам нужно выяснить, что делает ИИ-агент от имени пользователя. И имеет ли это смысл с учетом того, о чем на самом деле просил пользователь”.

❌ Нет тегов для этой статьи