Архив рубрики ~Лента новостей~

Когда агенты ИИ выглядят как злоумышленники: что нам говорит поведенческая телеметрия

Когда агенты ИИ выглядят как злоумышленники: что нам говорит поведенческая телеметрия
Когда агенты ИИ выглядят как злоумышленники: что нам говорит поведенческая телеметрия

Агенты ИИ-программистов (Claude Code, Cursor, Codex и другие, созданные на основе пакетов навыков, таких как GStack) появляются в клиентских средах. Они пишут код, устанавливают зависимости, автоматизируют задачи браузера и устраняют неполадки, пробуя альтернативные подходы. С точки зрения механизма анализа поведения конечных точек, часть этой активности неотличима от типичной активности, наблюдаемой в клиентских сетях, — или, в некоторых случаях, от действий, которые мог бы предпринять активный противник.

В этом блоге анализируются реальные телеметрические данные, полученные с помощью поведенческого механизма Sophos CIXA на Windows, чтобы показать, где и почему агенты ИИ запускают правила обнаружения. Цель не в том, чтобы назвать эту активность вредоносной. Цель — показать, что существующие средства защиты от поведенческих атак работают именно так, как задумано, и проиллюстрировать проблемы проектирования систем обнаружения, которые возникнут по мере ускорения внедрения агентного ИИ.

Обзор телеметрии

На диаграмме ниже показано распределение срабатываний блокирующих правил за семидневный период в июне 2026 года, с разбивкой по тактикам MITRE ATT&CK и измеренным количеством уникальных машин. Преобладают тактики, связанные с доступом к учетным данным и их выполнением (соответственно, девятая и четвертая категории тактик в матрице ATT&CK). Обратите внимание на наличие категории, не относящейся к ATT&CK, которую мы называем «Нарушение».

Круговая диаграмма, показывающая относительное количество срабатываний правил блокировки после обработки данных агентами ИИ; доступ к учетным данным составляет подавляющее большинство (56,2%), за ним следует выполнение (28,8%). На третьем месте по величине категория (4,1%) — нарушение работы системы, и далее показатели снижаются.

Рисунок 1: Количество срабатываний блокирующих правил (по тактике MITRE) после обработки агентами ИИ, измеренное по количеству уникальных машин.

Категория «Disrupt» — не входящая в официальные категории ATT&CK, но представляющая собой полезный общий инструмент, который мы сейчас объясним, — обозначает правила AAP (Adaptive Attack Protection), то есть устройства, на которых AAP активировалась и блокировала активность, связанную с агентами ИИ. Каждое обнаруженное нами срабатывание AAP касалось исполняемых файлов с низкой репутацией, которые пытались запустить агенты. Ни один из них не выглядел вредоносным, но все они имели низкие глобальные показатели репутации в телеметрии SophosLabs.

Переключение на скрытые (неблокирующие) срабатывания правил позволяет получить более широкое представление о действиях, выполняемых агентами ИИ, которые поведенческий механизм считает достойными отслеживания и группировки.

Круговая диаграмма, показывающая количество попаданий по «тихому правилу» после действий агентов ИИ в зависимости от тактики. Уклонение (38,5%) и командование и контроль (34,0%) составляют львиную долю попаданий; только исполнение (11,1%) превышает десять процентов по этим показателям.

Рисунок 2: Количество срабатываний «тихих правил» (по тактике MITRE) после обработки данных агентами ИИ, измеренное по количеству уникальных машин.

Распределение скрытых действий более рассредоточено, с преобладанием категорий уклонения и управления и контроля. Это отражает действия агентов, выполняющих сетевые вызовы, запускающих дочерние процессы и использующих шаблоны командной строки, которые пересекаются с методами действий противника.

Доступ по учетным данным

Возвращаясь к двум крупнейшим категориям ATT&CK, которые мы наблюдали в нашем наборе данных правил блокировки, правила доступа к учетным данным составляют наибольшую долю совпадений. Распределение конкретных правил показано на рисунке 3.

Круговая диаграмма, показывающая процент блокировок правил доступа к учетным данным на уровне агентов ИИ. Диаграмма состоит из четырех секторов — в порядке убывания: Creds_3b (42,6%), Creds_6a (36,2%), Creds_2e (12,8%) и Creds_2d (8,5%).

Рисунок 3: Правила блокировки доступа к учетным данным, применяемые агентами ИИ, измеряемые количеством уникальных машин.

Правило Creds_3b отвечает за основную часть этих срабатываний. Оно активируется при получении сигнала HMPA CookieGuard, который идентифицирует процессы, использующие API защиты данных (DPAPI) для расшифровки учетных данных браузера.

GStack /browse and Creds_3b

GStack — это широко распространенный набор навыков для агентов ИИ. Один из его встроенных навыков, /browse, подключает агента к демону Chromium для автоматизации работы в браузере. Телеметрия Creds_3b показывает, что эта цепочка навыков использует PowerShell для расшифровки конфиденциальных данных браузера. Пример на рисунке 4 показывает вызов GStack /browse агентом Claude Code.

Дерево активности, отображающее цепочки навыков Gstack/browse, включая команды.

Рисунок 4: Дерево активности, показывающее цепочку навыков GStack /browse, от bash через browse.exe, node.exe и до PowerShell.

Командная строка PowerShell подтверждает, что именно обнаружило правило:

powershell -NoProfile -Command «Add-Type -AssemblyName System.Security; $stdin = [Console]::In.ReadToEnd().Trim(); $bytes = [System.Convert]::FromBase64String($stdin); $dec = [System.Security.Cryptography.ProtectedData]::Unprotect($bytes, $null, [System.Security.Cryptography.DataProtectionScope]::CurrentUser); Write-Output ([System.Convert]::ToBase64String($dec))»

В данном контексте это почти наверняка безобидно: агент автоматизирует сеанс браузера. Но расшифровка учетных данных браузера с помощью PowerShell через DPAPI — это именно то, что блокирует правило Creds_3b, и его срабатывание вполне оправдано.

Доступ к учетным данным Python (Creds_6a, Creds_2d)

Несколько попыток доступа к учетным данным были связаны с процессами Python. В примере, показанном на рисунке 5, Клод запускает серию команд taskkill.exe для завершения процессов браузера по PID, а затем запускает скрипт Python, который обращается к хранилищам учетных данных браузера.

Графическое изображение (

Рисунок 5: Клод завершает процессы браузера перед запуском скрипта Python (decrypt_wp_pass.py), который обращается к данным браузера (щелкните для увеличения изображения).

В дереве активности также отображается команда, запущенная через Клода, которая выводит сохраненные учетные данные из диспетчера учетных данных Windows:

«C:Windowssystem32cmdkey.exe» /list

Это вредоносная информация? Само по себе этого было бы достаточно, чтобы вызвать специалиста по анализу MDR. В командной строке claude.exe есть один важный флаг:

—dangerously-skip-permissions

В документации Клода, как показано на рисунке 6, четко указаны риски, связанные с этим флагом.

Предупреждение самого Клода относительно флага --dangerously-skip-permissions, включая инструкции для администраторов, желающих заблокировать этот режим.

Рисунок 6: Предупреждение в документации Claude Code о флаге —dangerously-skip-permissions

Обфускация командной строки

В телеметрии появилась серия триггеров Exec_16a. Это старое правило, добавленное более пяти лет назад. Изначально оно было написано для обнаружения вредоносных команд PowerShell, использующих определенный метод форматирования строк в качестве мягкой обфускации.

Пять лет спустя агенты ИИ генерируют скрипты PowerShell с аналогичным форматированием в командной строке. Правило уже было ужесточено, чтобы уменьшить количество ложных срабатываний из этого источника.

Ingress: загрузить и выполнить

Агенты искусственного интеллекта — настойчивые специалисты по решению проблем. Когда команда не срабатывает, они пробуют альтернативы, перебирая различные инструменты и методы, пока что-нибудь не заработает. Это полезная способность для помощника программиста. Она также имитирует поведение злоумышленников, получивших доступ к системе.

Один пример из телеметрии наглядно это иллюстрирует. Агент ИИ (OpenAI Codex) попытался загрузить и запустить установщик Python. Он начал с certutil.exe (заблокирован Lateral_1b), затем переключился на bitsadmin.exe (заблокирован Exec_5a).

Время Командование Исход
06:47:35 certutil.exe -urlcache -split -f https://www.python.org/…/python-3.14.6-amd64.exe Блоки Lateral_1b
06:47:36 certutil.exe -urlcache -split -f (тот же URL, другой путь вывода) Блоки Lateral_1b
06:57:44 Ещё несколько вариантов certutil. Блоки Lateral_1b
06:57:47 bitsadmin.exe /transfer PythonDownload /download /priority normal (тот же URL) Блоки Exec_5a

Цель загрузки была легитимной: python.org. Но команды certutil -urlcache и bitsadmin /transfer — это классические методы загрузки из LOLBin. Агент использовал их без запроса, и когда один из них был заблокирован, он переключился на другой. Именно такое поведение отличает активного противника от примитивного скрипта, и теперь это то, что добропорядочные агенты ИИ делают регулярно.

Упорство

Запись в папку автозагрузки вне контекста доверенного, хорошо зарекомендовавшего себя установщика — это тревожный сигнал. Такое поведение не ожидается от агента программирования.

В приведенном ниже примере показано, как Cursor использует сценарий PowerShell для записи файла VBScript в папку автозагрузки Windows. Правило Persist_2a заблокировало это действие. Имя файла сценария предполагает, что он связан с приложением под названием «EZConvert», но без содержимого сценария мы не можем подтвердить намерение.

Командная строка PowerShell:

powershell.exe -ExecutionPolicy Bypass -File C:UsersAppDataLocalTempps-script-6a6de53c-7d17-4e73-9538-00a77b8b2a2d.ps1

Сценарий находится в процессе написания:

C:Users<имя пользователя>AppDataRoamingMicrosoftWindowsStart MenuProgramsStartupLaunch-EZConvert-ConsoleOnly.vbs

Заключение

Созданные с помощью ИИ агенты изменили представление о том, что считается «нормальным» в телеметрии клиентов. Правила, которые ранее срабатывали почти исключительно при вредоносной активности, теперь срабатывают при безобидном поведении агентов. Изменения пока незначительны, но тенденция очевидна.

Некоторые действия действительно вызывают подозрения, независимо от того, кто их инициировал. Расшифровка учетных данных браузера с помощью PowerShell, извлечение записей из диспетчера учетных данных, запись в папки автозагрузки, перебор методов загрузки LOLBin — все это средства защиты не зря отмечают. Тот факт, что это сделал агент искусственного интеллекта, не делает это безопасным.

Инженерным системам обнаружения потребуется адаптироваться. Некоторые правила потребуют доработки для учета заведомо достоверных сигнатур агентов. Другие же должны продолжать срабатывать, поскольку обнаруженная ими активность рискованна независимо от того, была ли она инициирована человеком или агентом. Приведенные выше примеры являются отправной точкой для такой сортировки.

Для клиентов, внедряющих агентов ИИ, более широкий вопрос касается политики и контроля. Что должен иметь право делать агент на конечной точке? Какие ограничения следует устанавливать? Представленная здесь поведенческая телеметрия предоставляет полезный исходный набор данных для разработки таких политик. Это не шестимесячный снимок телеметрии с окончательными выводами. Это первоначальный, краткий анализ сигналов, в котором мы уже можем увидеть некоторые интересные вещи, а также понять, что потребуется дальнейший мониторинг, оценка и настройка.

Читать полностью на источнике

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Новости робототехники Телеуправляемый андроид Unitree G1 прооперировал свиней. Им лапароскопически удалили желчный пузырь Новости робототехники Weave Robotics запускает Айзека, своего первого представителя робота-гуманоида Новости робототехники Страх перед человекоподобными роботами подтолкнул рабочих к забастовке на автомобильном заводе Hyundai. Новости робототехники Основатель Максимо рассказывает, как робототехника строит строительство солнечной энергетики. Архив рубрики ~Обо всем~ Астрономы нашли кандидата в самый далекий галактический бар. Он существовал спустя почти 1,2 миллиарда лет после Большого Взрыва Новости робототехники По заключению Национального совета по безопасности на транспорте (NTSB), водитель Tesla, который объяснил аварию тем, что автопилот нажал на педаль газа на 100%. Новости робототехники Mondo Robotics представляет собой Beni, вездеходного робота с электрической розеткой и искусственным интеллектом для потребителей. Архив рубрики ~Обо всем~ «Парачастицы» могут стать представителями третьего царства квантовых частиц Архив рубрики ~Коротко из Telegram~ Нейросеть обучили подсчету и оценке качества семян Архив рубрики ~Коротко из Telegram~ «Комендантский час» на соцсети для подростков 16-17 лет хотят ввести… Архив рубрики ~Коротко из Telegram~ В Южной Корее создадут бесплатного ИИ-бота для всех граждан. Архив рубрики ~Коротко из Telegram~ В США 73% технических вакансий требуют навыков работы с ИИ,… Архив рубрики ~Обо всем~ Компания SpaceX внезапно прервала второй запуск Starship V3 после запуска двигателя. Архив рубрики ~Коротко из Telegram~ Samsung хочет обучать ИИ на данных здоровья Новости робототехники Телеуправляемый андроид Unitree G1 прооперировал свиней. Им лапароскопически удалили желчный пузырь Новости робототехники Weave Robotics запускает Айзека, своего первого представителя робота-гуманоида Новости робототехники Страх перед человекоподобными роботами подтолкнул рабочих к забастовке на автомобильном заводе Hyundai. Новости робототехники Основатель Максимо рассказывает, как робототехника строит строительство солнечной энергетики. Архив рубрики ~Обо всем~ Астрономы нашли кандидата в самый далекий галактический бар. Он существовал спустя почти 1,2 миллиарда лет после Большого Взрыва Новости робототехники По заключению Национального совета по безопасности на транспорте (NTSB), водитель Tesla, который объяснил аварию тем, что автопилот нажал на педаль газа на 100%. Новости робототехники Mondo Robotics представляет собой Beni, вездеходного робота с электрической розеткой и искусственным интеллектом для потребителей. Архив рубрики ~Обо всем~ «Парачастицы» могут стать представителями третьего царства квантовых частиц Архив рубрики ~Коротко из Telegram~ Нейросеть обучили подсчету и оценке качества семян Архив рубрики ~Коротко из Telegram~ «Комендантский час» на соцсети для подростков 16-17 лет хотят ввести… Архив рубрики ~Коротко из Telegram~ В Южной Корее создадут бесплатного ИИ-бота для всех граждан. Архив рубрики ~Коротко из Telegram~ В США 73% технических вакансий требуют навыков работы с ИИ,… Архив рубрики ~Обо всем~ Компания SpaceX внезапно прервала второй запуск Starship V3 после запуска двигателя. Архив рубрики ~Коротко из Telegram~ Samsung хочет обучать ИИ на данных здоровья

Оставить комментарий