Хакеры могут использовать 9 самых популярных инструментов искусственного интеллекта для создания масштабных ботнетов.

«HalluSquatting» использует неспособность магистров права говорить «Я не знаю» в качестве оружия.

В короткой истории безопасности ИИ внедрение команд быстро стало главной угрозой. Большие языковые модели по своей природе не способны различать легитимные инструкции, предоставленные пользователями, и вредоносные, незаметно внедренные в электронные письма, исходный код и другой сторонний контент, обрабатываемый моделями. Это делает скрытое внедрение вредоносных команд, которые модель легко выполняет, не задумываясь.

Не имея возможности обеспечить соблюдение этой важнейшей границы между надежными и ненадежными источниками, разработчики движков искусственного интеллекта вынуждены создавать сложные механизмы защиты, призванные смягчить последствия, а не устранить первопричину проблемы.

На сегодняшний день большинство методов внедрения вредоносных инструкций относятся к классу методов, известных как «проталкивание», при которых целью становится каждая потенциальная жертва. Например, злоумышленник внедряет вредоносные инструкции в отдельное электронное письмо или приглашение в календарь. Поскольку затем внедрение должно быть отправлено (или «протолкнуто») каждой конкретной цели, масштаб атаки ограничен, что препятствует массовым атакам, затрагивающим весь Интернет.

Между тем, атаки с использованием методов привлечения внимания, при которых злоумышленник активно ищет вредоносные подсказки, размещенные на веб-сайтах, остаются ограниченными. Поскольку нет способа заманить большое количество злоумышленников на вредоносный сайт, такие атаки также не масштабируются.

Вход в HalluSquatting

Теперь исследователи разработали атаку, основанную на извлечении кода, которая меняет все это. Новая атака, названная исследователями HalluSquatting, потенциально способна создавать масштабные ботнеты, проводить крупномасштабные DDoS-атаки и заражать устройства в больших масштабах, что является первым случаем для атак с внедрением подсказок. Атака работает против программистов и агентов на основе ИИ, включая Cursor, Cursor CLI, Gemini CLI, Windsurf, GitHub Copilot, Cline, OpenClaw, ZeroClaw и NanoClaw, которые все уязвимы. В ходе повседневной работы эти помощники и агенты регулярно извлекают код и другие ресурсы из репозиториев и реестров.

Модель угрозы HalluSquatting. Источник: Spira et al.

Сокращенно от adversarial hallucination squatting (сквоттинг с использованием галлюцинаций, создаваемых злоумышленниками), HalluSquatting основан на присущей LLM склонности к галлюцинациям идентификаторов ресурсов, размещенных в репозиториях и реестрах. Он работает против агентов и помощников программирования, которые обычно получают доступ к командным строкам с высокими привилегиями для запуска кода из сторонних ресурсов. Предсказывая идентификаторы, которые LLM с наибольшей вероятностью будут галлюцинировать, а затем регистрируя и внедряя в них инструкции по установке обратных оболочек или другого вредоносного ПО, атака может без разбора заражать огромное количество устройств, не нацеливаясь на каждое из них.

«Масштабируемость атаки позволяет злоумышленнику скомпрометировать большое количество пользователей с минимальными усилиями, нацеливаясь на популярные ресурсы, тем самым максимизируя вероятность того, что захваченный ресурс будет восстановлен», — написали исследователи в статье, опубликованной в среду. «Используя встроенные оболочки и терминалы агентных приложений для запуска скриптов и кода, злоумышленники могут эффективно «заразить» множество независимых агентных приложений, внедряя инструкции по установке обратных оболочек в ресурсы, которые они регистрируют».

Благодаря возможности масштабного захвата контроля над распределенными устройствами, HalluSquatting потенциально может достичь различных целей, ранее недоступных при быстром внедрении вредоносного ПО. Крупные кампании по распространению программ-вымогателей и масштабные ботнеты для DDoS-атак или майнинга криптовалют — два таких примера.

Часть названия «сквоттинг» отсылает к «тайпосквоттингу», когда домен, пакет репозитория или другой идентификатор ресурса точно имитирует название популярного ресурса в надежде привлечь потенциальных пользователей к его посещению или установке. Тайпосквоттинг впервые привлек широкое внимание в 2016 году, когда студент колледжа загрузил 214 пакетов с ловушками в репозитории PyPI, RubyGems и NPM, которые точно имитировали названия легитимных пакетов. Результат: код-подделка был выполнен более 45 000 раз на более чем 17 000 отдельных доменах, и более половины из них получили всемогущие административные права. С тех пор атаки с использованием тайпосквоттинга процветают.

Магистратуры по специальности «магистр права» не умеют говорить «Я не знаю».

Отправной точкой для HalluSquatting является неспособность LLM точно определить местоположение ресурса, указанного пользователем. Например, когда разработчик поручает агенту клонировать популярный новый репозиторий, LLM в 85% случаев ошибочно определяет его правильное местоположение. При клонировании востребованного «навыка» — формы инструкции, скрипта или ресурса, предоставляющего агентам специализированные возможности и экспертные знания в предметной области — ошибочное определение местоположения может происходить в 100% случаев. HalluSquatting фокусируется на востребованных ресурсах, поскольку они не включены в обучение LLM. Кроме того, они получают большое количество загрузок за короткий период времени.

Исследователи утверждают, что неспособность программистов-программистов указывать правильное местоположение является существенным недостатком, возникающим из-за предвзятости при обучении или неправильной интерпретации инструкций в текущем контексте. Это означает, что когда пользователь просит помощника по программированию клонировать репозиторий или навык — например, «клонировать имя репозитория» или «установить имя навыка» — бот часто переходит в неправильное место для его получения.

Эти галлюцинации не только неизбежны, но и возникают на фундаментальном уровне всех шести основных LLM, включая Gemini-2.5-flash, Gemini-2.5-pro, GPT-5.1, GPT-5.2, Sonnet-4.5 и Opus-4.5. Кроме того, наиболее часто указываемые неверные места, которые вызывают галлюцинации в этих LLM, легко предсказать заранее. Все шесть LLM следуют общим закономерностям при сопоставлении имени репозитория или навыка в подсказке с его официальным именем в репозитории или репозитории навыков.

LLM-модели используют различные шаблоны галлюцинаций. Тот, который использует HalluSquatting, описывается как самореферентный. Все шесть моделей генерируют слаги repo-name/repo-name, в которых имя репозитория рассматривается как владелец. Для использования этого шаблона не требуется проверка модели.

Таблица, отображающая наиболее часто встречающиеся вымышленные кандидаты на роль владельца/репозитория для каждой комбинации (целевой репозиторий, базовая LLM) по результатам более чем 100 запросов. Цветовая кодировка владельца: желтый = реальный владелец GitHub, синий = регистрируемый сквот (владелец не существует на GitHub), красный = ложное указание (реальный, но непреднамеренный владелец), фиолетовый = строка-заполнитель, которую невозможно зарегистрировать в качестве имени пользователя GitHub. Знак ⋆ обозначает самореферентные вымышленные данные (владелец == имя репозитория). Источник: Spira et al.

Интересно, что модели LLM правильно определяют хранилища, опубликованные до 2019 года, со средним низким уровнем ложных срабатываний, составляющим всего 0,9 процента. Те же самые модели LLM создают ложные слизни для хранилищ, опубликованных в 2025 году, со средним уровнем ложных срабатываний 92,4 процента.

Как только злоумышленник определит имена, которые, скорее всего, являются галлюцинациями, он начнет искать те, которые можно зарегистрировать. Затем он загрузит репозиторий или навык, имитирующий популярный ресурс. Внутри репозитория или навыка, в файле readme или в другом месте, спрятан текст. Текст содержит инструкцию для приложения по установке обратной оболочки на компьютер пользователя LLM. В качестве альтернативы злоумышленник может просто включить код, необходимый для установки оболочки. В любом случае, помощники по программированию или агенты используют свой доступ к командным окнам для выполнения инструкций.

Использование LLM в больших масштабах

В число исследователей входят: Ая Спира, Элад Фельдман, Авишай Вул и Бен Насси из Тель-Авивского университета, Став Коэн из Техниона и Рон Биттон из Intuit. В среду они опубликовали результаты своего исследования здесь. В своей статье они написали:

Используя встроенные оболочки и терминалы агентных приложений для запуска скриптов и кода, злоумышленники могут эффективно «заразить» множество независимых агентных приложений, внедряя инструкции по установке обратных оболочек в ресурсы, которые они регистрируют. Получение доступа к распределенным вычислительным ресурсам, контролируемым злоумышленниками, открывает двери для ряда серьезных последствий, позволяя злоумышленникам достигать различных целей. Например, возможность компрометировать приложения LLM с помощью терминалов позволяет злоумышленнику масштабировать количество атак программ-вымогателей на различные сети для максимизации финансовой выгоды. В качестве альтернативы, злоумышленники могут объединять скомпрометированные машины в ботнет и использовать его для задач, требующих значительной вычислительной мощности, включая (1) крупномасштабный майнинг криптовалют (например, Smominru, WannaMine) или (2) проведение распределенных атак типа «отказ в обслуживании» (DDoS) против жертв (например, Mirai).

Проект HalluSquatting уже вызывает интерес у коллег-исследователей в области безопасности ИИ, не участвовавших в исследовании.

«Это очень интересное исследование, и угроза вполне реальна», — написал в электронном письме Майкл Баргури, технический директор компании Zenity, занимающейся вопросами безопасности. «Как и в случае с тайпсквоттингом, это проблема, которая никуда не денется. В конечном итоге, все сводится к тому, насколько мы позволяем нашим агентам действовать самостоятельно. Их *все равно* обманут тем или иным способом. Это должно быть нашим предположением, и мы должны быть к этому готовы».

Независимый исследователь Йоханн Ребергер писал:

Интересно то, что это показывает, что разрешение ресурсов LLM может стать путем атаки, и злоумышленник может сначала исследовать модели, чтобы найти высоковероятные вымышленные кандидаты (например, названия репозиториев, идентификаторы навыков и т. д.), чтобы захватить их и ждать, пока агенты разрешат и используют их.

Но главное в том, что они нашли интересную технику для поиска названий ресурсов, которые модели с большей вероятностью будут использовать/с которыми их будут путать. А это может означать, что многие агенты станут жертвами подобных атак в реальных условиях.

Производители инструментов на основе ИИ часто преувеличивают удобство и эффективность своих платформ. Маркетологи утверждают, что платформы облегчают рабочие процессы, автоматизируя и оптимизируя рутинные задачи. Однако они гораздо менее склонны говорить о присущих им недостатках, которые могут сорвать весь проект. Такие атаки, как HalluSquatting, являются убедительным напоминанием о том, что некоторые преимущества преувеличены, поскольку в конечном итоге пользователям приходится перепроверять такие детали, как местоположение каждого ресурса, включенного в проект. Это также служит предостережением о непредвиденных и потенциально катастрофических последствиях, которые могут возникнуть, когда люди слишком сильно полагаются на ИИ-помощников.

Источник: arstechnica.com