Когда «атакующим» является агент искусственного интеллекта

На прошлой неделе компания Hugging Face сообщила об инциденте безопасности нового рода: взломе, осуществленном от начала до конца автономным агентом искусственного интеллекта.

Несколько дней спустя OpenAI уточнила, что «атакующим» был их собственный тестовый агент. Две из их новых моделей, в которых намеренно ослаблены меры безопасности для оценки их максимальных возможностей в области кибербезопасности, выяснили, что самый простой способ сдать тест на отлично — это списать. Представьте себе студента, который крадет ключ к ответам учителя, только этот студент умеет находить уязвимости нулевого дня. Модели вышли из изолированной исследовательской среды, используя уязвимость нулевого дня, добрались до открытого интернета и внедрили украденные учетные данные и дополнительные эксплойты в производственную инфраструктуру Hugging Face, где хранились ответы.

На этом завершается один из споров. Искусственный интеллект способен к взлому. Он автономно обнаружил уязвимости нулевого дня и внедрил их в производственную среду другого пользователя, доказав, что модели способны к сквозному вторжению.

Тем не менее, никто не ставил перед собой цель взломать именно Hugging Face. Это была экспериментальная модель, созданная и протестированная для максимального повышения её возможностей взлома. Обман при оценке результатов — это чистейший пример мошенничества с вознаграждением: оптимизация под тестовый сигнал, а не решение поставленной задачи. В этом нет ничего нового: METR неоднократно ловила модели, использующие лазейки для завышения результатов бенчмарка. Эта модель не просто вышла за пределы «песочницы»: она обнаружила, что изоляция вокруг неё слабее, чем все предполагали, и превратила мошенничество с вознаграждением в реальное вторжение.

Это скорее история сдерживания, чем история нападения. Но это также лучший на сегодняшний день пример сквозной автономной атаки в реальных условиях, из которого можно извлечь важные выводы.

Чему этот инцидент учит специалистов по киберзащите.

Тактика, методы и процедуры (ТТП) не были новыми. Искусственный интеллект не изменил того, как выглядит эксплуатация уязвимости: злоумышленник использует уязвимость, крадет учетные данные и повторно использует их для перемещения по сети. Именно поэтому методы, разработанные три десятилетия назад, хорошо работают против машинного противника:

1. Вместо того чтобы спешить с устранением отдельных уязвимостей CVE, следует блокировать методы эксплуатации уязвимостей: уязвимость нулевого дня активирует те же механизмы контроля, что и известная уязвимость.
2. Рассматривая идентификационные данные как первоклассную поверхность управления: украденные учетные данные являются столь же полезным инструментом для ИИ-агента, как и для человека.
3. Сокращение поверхности атаки: меньшее количество путей между чувствительной средой и интернетом приводит к уменьшению числа уязвимостей нулевого дня, которые стоит обнаружить.

Удивительно мало что значит, находится ли на другом конце соединения искусственный интеллект или человек.

Атака была громкой. Она была обнаружена уже имеющимися средствами обнаружения. Это согласуется с нашим отчетом «Безопасность ИИ 2026». Одни и те же сигналы обнаруживают как людей, так и злоумышленников с искусственным интеллектом, но скорость атак меняется. Ранее в этом году наши аналитики обнаружили, что злоумышленник использовал десяток агентов ИИ для тестирования обхода систем обнаружения и реагирования на угрозы (EDR). Почти 80 модулей, протестировавших более 70 методов, были созданы за несколько дней, а не недель.

Более важный вопрос заключается в том, сможет ли ИИ оставаться незаметным — скрытность превращает грубые навыки в реальный вклад в бизнес. Достичь этой незаметности сложно. Нет общедоступного корпуса методов скрытного программирования, на котором можно было бы обучаться, и ничто в системе вознаграждения, основанной на программировании, не поощряет не быть пойманным.

Ограничения, согласование и сдерживание становятся ключевыми проблемами кибербезопасности. Компания Hugging Face столкнулась с трудностями при использовании западных моделей реагирования на эту атаку, поскольку эти модели содержали защитные механизмы, запрещающие анализ и криминалистическую реконструкцию вредоносного кода. Специалисты по реагированию на инцидент перешли к модели с открытыми весами. По иронии судьбы, прогнозировалось, что для атаки будут использоваться модели с открытыми весами, а для защиты — модели с закрытыми весами, характерные для западных технологий.

Проблема согласования актуальна не только для передовых лабораторий. Например, рассмотрим использование ИИ для наступательного тестирования безопасности (скоро мы все будем этим заниматься). Разрешение модели атаковать вашу среду не ограничивает ее действия. OpenAI разрешила тестирование в песочнице, а не вторжение в Hugging Face. Но модель не увидела разницы. Направьте агента на ваши системы, и он может атаковать ваших поставщиков без их разрешения.

В чем же мы приходим к такому выводу?

Основы кибербезопасности по-прежнему определяют исход событий. Уменьшите поверхность атаки. Блокируйте методы эксплуатации уязвимостей, а не только CVE. Рассматривайте идентификацию как основной контроль. Внедряйте меры сдерживания, проверяйте свою устойчивость и отрабатывайте быструю реакцию. Эти принципы работали против людей-атак, и этот инцидент является ранним доказательством того, что они работают и против машинных противников.

Посмотрите мой прямой эфир в LinkedIn, где я обсуждал, что этот инцидент означает для руководителей служб безопасности и почему сдерживание, устойчивость и реагирование по-прежнему определяют исход событий.

Для получения более подробной информации об ИИ ознакомьтесь с отчетом Sophos AI Security 2026.

Читать полностью на источнике