Перспективные технологии с двумя сторонами медали: классификация угроз в области искусственного интеллекта.
Разговоры об «угрозах со стороны ИИ» обычно сводятся к одной из двух крайностей. С одной стороны, ажиотаж: неподтвержденные заявления, не выдерживающие критики и вызывающие серьезные нападки. С другой стороны, пренебрежительное отношение: это просто старые методы работы под новым брендом.
Как и в большинстве подобных дихотомий, истина, вероятно, находится где-то посередине. Злоумышленники используют и экспериментируют с ИИ различными способами — как для облегчения атак, так и в качестве цели. По разным причинам сложно оценить истинные масштабы этого процесса, но, как мы отмечали в нашем обзоре отношения к ИИ на криминальных форумах, наблюдается сдвиг в сторону внедрения ИИ в некоторые инструменты. Другие исследования, такие как отчет ENISA «Ландшафт угроз 2025 года», описывают постепенное использование ИИ в реальных условиях в экосистеме киберпреступности (включая фишинг, клонирование голоса, дипфейки, скриптинг и разведку с помощью ИИ), отмечая при этом, как и в нашем исследовании, что другие вредоносные приложения, такие как вредоносное ПО, созданное с помощью ИИ, пока остаются в сфере контролируемых демонстраций, а не активных угроз.
Для отслеживания и классификации угроз, связанных с ИИ, Sophos X-Ops разработала рабочую таксономию. Она разделяет проблему на две основные категории: злонамеренное использование ИИ и злонамеренное воздействие на ИИ . Каждая категория содержит несколько подкатегорий атак, основанных на инцидентах, наблюдаемых в реальных условиях, наших текущих исследованиях атак на ИИ или атаках, которые мы оцениваем как реалистичные будущие возможности.
Данная таксономия не призвана конкурировать с другими разработками в этой области, такими как MITRE ATLAS (отраслевая структура для противодействующего ИИ), таксономия режимов отказов в агентах ИИ от Microsoft, репозиторий рисков ИИ от MIT или NIST AI 100-2. Вместо этого она разработана как уровень предварительной оценки, находящийся над ними. Вскоре мы рассмотрим, как наша работа может дополнить ATLAS в частности. Эту таксономию не следует рассматривать как завершенный продукт; как и многое в области ИИ, это работа в процессе, и это быстро развивающаяся область. Но мы считаем, что это важный вклад в другие текущие таксономические исследования, и мы стремимся поддерживать ее в актуальном состоянии по мере появления новых угроз и категорий.
Рисунок 1: Обзор таксономии угроз ИИ
Часть первая: Злонамеренное использование ИИ
Вероятно, именно эта категория приходит на ум большинству людей, когда они слышат об «угрозе со стороны ИИ» — злоумышленники, использующие популярные инструменты искусственного интеллекта. Но угроза гораздо сложнее; уровень вовлеченности ИИ варьируется, как и соответствующие меры защиты.
Полезным способом рассмотрения подкатегорий здесь является градиент автономности. В случае с ИИ человек «управляет», а ИИ выступает в роли инструмента на пассажирском сиденье. В случае с ИИ-дополнением ответственность разделена. В атаках, организованных с помощью ИИ, ИИ управляет процессом, а человек — пассажир, определяющий пункт назначения.
Здесь стоит отметить, как мы уже указывали в некоторых наших предыдущих исследованиях по этой теме, что все эти подкатегории, но особенно атаки, организуемые с помощью ИИ, снижают минимальный уровень возможностей. Злоумышленники, имеющие намерения и возможности, но ограниченные средства, теперь могут получить доступ к более продвинутым ресурсам и навыкам «под рукой», тем самым расширяя круг потенциальных злоумышленников, находящихся в нижней части кривой навыков.
сгенерировано ИИ
Самый простой способ применения: генеративный ИИ создает артефакт — код, поддельный веб-сайт, фишинговую приманку, — а управление переходит к человеку.
- Код, сгенерированный ИИ: Злоумышленник использует помощника по программированию, например Cursor, для создания скриптов, эксплойтов, полезных нагрузок и/или инструментов, которые затем развертывает оператор. Например: в период с декабря 2025 года по февраль 2026 года злоумышленник атаковал несколько мексиканских правительственных организаций, используя как Claude Code от Anthropic, так и GPT от OpenAI для генерации скриптов и инструментов. Совсем недавно тактика, методы и процедуры, связанные с группой вымогателей The Gentlemen, указывают на использование ChatGPT, Gemini и Claude для разработки, и утечки переписки из этой группы подтверждают это.
- Сайты, созданные с помощью ИИ: Мы опубликовали исследование на эту тему еще в 2023 году: мошеннические сайты и вредоносные порталы создавались с помощью генеративного ИИ, достигая больших объемов и высокого качества при минимальных или нулевых усилиях человека.
- Приманки, созданные ИИ: сценарии социальной инженерии, предлоги и приманки, разработанные моделью ИИ и отправленные человеком.
Меры по смягчению последствий
Обнаружение и защита по-прежнему актуальны, поскольку важен именно доставленный артефакт. С другой стороны, пропускная способность, масштабируемость и возможности могут значительно возрасти. Специалистам по защите следует ожидать больше кампаний, больше вариантов, а также более быстрой итерации и адаптации.
дополненный ИИ
Модель искусственного интеллекта расширяет уже существующие возможности, но делает это во время выполнения.
- Поддержка наступательных действий с использованием ИИ: Злоумышленник использует ИИ для поддержки атаки — например, используя LLM для повышения масштаба/глубины разведки и OSINT, или для автоматизации обнаружения уязвимостей и разработки эксплойтов.
- Злоупотребление сервисами, дополненными ИИ: вредоносное ПО, которое во время выполнения обращается к коммерческому API LLM для динамической генерации команд атаки, вместо того чтобы статически встраивать их в бинарный файл. Ярким примером в 2025 году стал LameHug, который CERT-UA (с умеренной степенью уверенности) приписал APT28: вредоносное ПО на основе Python, которое запрашивало хостинг Qwen2.5-Coder-32B-Instruct на Hugging Face для генерации команд разведки Windows и кражи данных в режиме реального времени против целей украинского правительства. Вредоносное ПО генерировало разные команды для каждой среды, что значительно снижало эффективность статического анализа, а исходящий трафик к API ИИ/машинного обучения становился одним из немногих надежных способов обнаружения.
- Злоупотребление моделями, дополненными ИИ: вредоносное ПО, поставляемое со встроенной моделью, которая, например, генерирует контент (например, поддельные документы и контекстно-подходящие ответы) или выполняет другие вредоносные действия на зараженном хосте. Следует отметить, что, насколько нам известно, на момент написания это теоретическая атака, и ее эффективность будет зависеть от размера модели. Например, llamafile от Mozilla позволяет распространять и запускать модель LLM в одном исполняемом файле. Предварительно собранная версия, включающая веса, занимает чуть меньше 4 ГБ, что является относительно большим размером файла для Windows. Конечно, доступны и более мелкие модели, но они могут иметь ограниченные возможности.
- Искусственный интеллект, позволяющий имитировать личность: инструменты клонирования голоса и замены лица, используемые для мошенничества в режиме реального времени, имитации личности руководителей и обхода процедуры KYC (как показано ниже на рисунке 2).
Рисунок 2: Злоумышленник на криминальном форуме описывает схему использования дипфейков для обхода технологий KYC.
Меры по смягчению последствий
Атаки этой категории сложнее обнаружить с помощью статического анализа, поскольку вредоносное поведение носит динамический характер и частично определяется во время выполнения, моделью, которую защитники не видят. Обращения к API-интерфейсам, связанным с LLM, характеристики встроенных моделей, последовательность и состав выполнения команд, а также некоторые биологические «признаки», связанные с клонированием голоса и заменой лиц, могут предоставить некоторые возможности для обнаружения.
Организовано искусственным интеллектом
В данном случае действия выполняет искусственный интеллект с минимальным участием человека, но с определенной степенью инициирования/контроля.
- Вторжение, организованное ИИ: агент получает и/или повышает доступ через сеть, используя (например) протокол контекстного моделирования (MCP). Человек-оператор ставит цель, а агент выполняет шаги. Некоторые аспекты кампаний против многочисленных мексиканских правительственных организаций, упомянутых ранее, попадают в эту подкатегорию. Самый полный задокументированный пример на сегодняшний день — это GTG-1002, спонсируемая китайским государством кампания, о которой Anthropic сообщила в ноябре 2025 года: около тридцати правительственных объектов и объектов критической инфраструктуры, при этом Claude Code работал на компьютере с Kali Linux, который интегрировал инструменты тестирования на проникновение с открытым исходным кодом, доступные через серверы MCP. ИИ сканировал доступные из интернета сервисы, использовал уязвимость SSRF в общедоступном веб-сервере, собирал ключи SSH и токены учетных записей облачных сервисов, а также перемещался по облачной среде жертвы, принимая тактические решения в режиме реального времени о том, что исследовать дальше, в то время как человек давал стратегическое руководство. В анализе Anthropic, проведенном в июне 2026 года, отличительной чертой GTG-1002 было не количество используемых техник (примерно тридцать техник MITRE ATT&CK), а уровень оркестровки, окружающий модель. На практике оркестровка может охватывать всю цепочку атаки или только ее часть: оператор может установить первоначальный доступ вручную, а затем передать его агенту для последующей эксплуатации, или же создать агента, который будет управлять операцией от начала до конца. В обоих случаях последствия для защиты схожи.
- Злоупотребление LLM, организованное с помощью ИИ: злоумышленник отравляет или перехватывает рабочий процесс, работающий на основе LLM, для доставки вредоносного контента пользователям.
Меры по смягчению последствий
В дикой природе такие атаки пока редки, но представляют значительный риск. Они сокращают время между разведкой и действием, а модели ИИ не устают и не нуждаются в перерывах.
Часть вторая: Злонамеренное воздействие на ИИ
Атаки этой категории связаны с тем, что продукты, агенты и экосистемы искусственного интеллекта становятся жертвами (или невольными сообщниками), и достигают успеха из-за особенностей построения и внедрения систем ИИ.
Инициировано агентом
- Компрометация, инициированная агентом: программист (например, Claude Code, Cursor или инструменты типа Copilot) в процессе своей работы загружает скомпрометированный пакет NPM или зависимость, или же сервер MCP, используемый агентом, скомпрометирован для выполнения противоправных действий, таких как отправка скрытой копии электронных писем на неавторизованный адрес. Сам агент не является злонамеренным; он направлен на зараженную цепочку поставок.
Меры по смягчению последствий
Новизна здесь не в атаках на цепочку поставок; это хорошо известная угроза. Угроза заключается в том, что агент сжимает время между «публикацией пакета» и «выполнением пакета в вашей среде», без участия человека, который мог бы приостановить работу и прочитать журнал изменений или проверить риски, связанные с атаками на цепочку поставок. Общие меры по смягчению последствий могут включать ограничение скорости запросов, управление местоположением и управление областью действия/правами доступа.
Имитация программного обеспечения ИИ
- Имитация программного обеспечения ИИ: вредоносная реклама, спонсируемые результаты поиска, SEO-отравление или специально созданные диалоги в рамках LLM-программ используют в своих целях пользователей, которые ищут легитимные инструменты ИИ с беспрецедентной скоростью. В результате устанавливается вредоносное ПО, которое может включать в себя программы для кражи информации, бэкдоры и многое другое.
Меры по смягчению последствий
Это хорошо известная атака, о которой мы сообщаем уже некоторое время, — но с обновленными приманками, чтобы воспользоваться спросом на инструменты искусственного интеллекта. Существует два основных способа защиты от этого вида атаки. Первый — это обнаружение потенциального вредоносного ПО (и промежуточных полезных нагрузок), но лучшая (и самая ранняя) форма защиты — это загрузка приложений и установщиков только с проверенных сайтов легитимных поставщиков.
Отравленные LLM
- Отравление LLM: Злоумышленник настраивает пользовательскую модель или намеренно внедряет вредоносные или вводящие в заблуждение данные в конвейер обучения, тонкой настройки или извлечения данных модели, чтобы изменить ее поведение. Хотя у нас пока нет доказательств того, что эта атака действительно имела место, исследователи продемонстрировали ее теоретически, и злоумышленники ранее использовали модели машинного обучения в качестве оружия, хотя и для внедрения «традиционных» бэкдоров через «пикл-файлы».
Меры по смягчению последствий
Будьте осторожны со ссылками, предоставляемыми моделями ИИ — убедитесь, что они указывают на легитимные домены, и с подозрением относитесь к любым инструкциям по копированию и вставке контента в терминал или командное окно (особенно если контент зашифрован).
Атаки на модель
В то время как описанные выше атаки нацелены на экосистему ИИ (установочные файлы, подсказки и т. д.), этот класс атак фокусируется на самих моделях ИИ: весах, обучающих данных и границах принятия решений.
- Извлечение модели: Злоумышленники многократно запрашивают развернутую модель, пока не смогут восстановить приблизительную копию путем дистилляции, похищая ресурс и подрывая любые конкурентные преимущества, основанные на стоимости обучения.
- Инверсия обучающих данных: специально разработанные запросы извлекают обучающие данные из развернутой модели, что особенно важно в случаях, когда обучающие корпуса содержат конфиденциальную информацию, такую как персональные данные, проприетарный код или текст, защищенный авторским правом.
- Примеры атак с использованием подмены данных: входные данные, разработанные таким образом, чтобы обмануть модель и привести её к ошибочной классификации, хотя для человека они кажутся безобидными (или очевидными). Исторически — и это продолжалось уже несколько лет — к таким атакам относились небольшие изменения в дорожных знаках, но они могут распространиться и на текстовые, аудио- и мультимодальные модели.
- Определение принадлежности: установление того, входила ли конкретная запись в обучающий набор данных, путем использования склонности модели быть более уверенной в данных, которые она уже видела ранее. Это атака на конфиденциальность и проблема для любой организации, которая обучает модели на данных клиентов.
Меры по смягчению последствий
Это те методы, которые MITRE ATLAS рассматривает наиболее подробно, и те, которые реже всего отображаются в стандартной телеметрии; они часто выглядят как обычная активность, если и до тех пор, пока не будут измерены агрегированные шаблоны запросов за определенный период времени.
Как использовать эту таксономию
Как мы отмечали ранее, в этой области существует множество других проектов, и, пожалуй, наиболее известным примером использования общего словаря для анализа угроз с помощью ИИ является MITRE ATLAS. По состоянию на версию 5.10 (ноябрь 2025 г.) он содержит каталог из 16 тактик и 84 методов, смоделированных на основе цепочки атак ATT&CK, и будет постоянно обновляться до 2026 года, добавляя информацию об агентном ИИ.
Однако ATLAS фокусируется на вредоносных атаках на ИИ . Этому посвящена наша вторая часть, где наши подкатегории соответствуют методам ATLAS, таким как компрометация цепочки поставок ИИ, внедрение подсказок LLM и манипулирование моделью ИИ. Но атаки с использованием ИИ, рассмотренные в нашей первой части, находятся на периферии структуры ATLAS, а не в её центре.
Этот пробел не является уникальным для ATLAS. Компания Anthropic пришла к аналогичному выводу на более широком уровне ATT&CK в своем отчете LLM ATT&CK Navigator за июнь 2026 года: автономное, агентное поведение, отличающее наиболее способных участников — организация цепочки атак, принятие решений о смене курса в реальном времени, выполнение, управляемое ИИ, — пока не имеет идентификаторов методов в рамках этой системы. Проблема с терминологией касается не только нас, и соответствующие системы, вероятно, будут развиваться.
Различие между двумя категориями в нашей таксономии важно, поскольку они требуют разных мер защиты. Злонамеренное использование ИИ — это проблема производительности и объёма; существующие системы обнаружения могут выявлять много угроз, но проблема заключается в масштабе и скорости, с которой кампании совершенствуются и адаптируются. С другой стороны, злонамеренное использование ИИ в большей степени связано с вопросами доверия и цепочки поставок, и обычно более целесообразно решать эту проблему с помощью политики, принципов «безопасности по умолчанию» и подобных инициатив.
Более того, рассмотрение их по отдельности позволяет получить более четкое и точное представление об угрозе. Утверждение «количество инцидентов, связанных с ИИ, выросло на 300%» бессмысленно, если эта статистика смешивает фишинговое письмо, созданное с помощью GPT, с агентом программирования, который непреднамеренно внедрил бэкдор-зависимость в рабочую среду.
В конечном итоге, мы предлагаем рассматривать нашу таксономию как дополнение к другим, а не как замену. Наша таксономия может использоваться на этапе сбора информации, когда специалистам по защите требуется быстрая и однозначная метка для текущего инцидента, а затем более подробно изучать ATLAS для декомпозиции цепочки атак, построения карты смягчения последствий и обмена информацией с партнерами и клиентами. Или, в зависимости от специфики инцидента, использовать информацию из таксономии агентов ИИ Microsoft, хранилища рисков MIT или таксономии NIST по машинному обучению в контексте противодействия.
Как мы отмечали ранее, эту таксономию не следует считать полной. В каждой попытке есть пробелы, а область ИИ развивается особенно быстро. Будут появляться новые модели и классы атак (например: автономная разведка; атаки «агент против агента»; извлечение моделей в больших масштабах), и существующий контент, возможно, потребуется объединить или переопределить.
Но главное — это приверженность дисциплине таксономии: когда происходит инцидент, нужно дать ему конкретное обозначение, определить, кто что использует против кого, и позволить данным говорить самим за себя.
Оцените материал:
