Архив рубрики ~Коротко из Telegram~

ToolHazard-Bench: как проверяют ИИ-агентов на устойчивость к prompt injection Как…

ToolHazard-Bench: как проверяют ИИ-агентов на устойчивость к prompt injection Как…
File 1193

ToolHazard-Bench: как проверяют ИИ-агентов на устойчивость к prompt injection
Как только агент получает доступ к внешним инструментам — почте, поиску, веб-страницам — появляется классическая дыра: во входящих данных может быть спрятана инструкция для самой модели. Проект ToolHazard автоматизирует поиск таких уязвимостей вместо ручного придумывания атак.

Устроен он из трёх частей. Environment Simulator собирает исполняемые окружения, в которых агент реально работает с инструментами. Attacker Agent ищет точки внедрения и генерирует полезную нагрузку. User Simulator формирует длинные многошаговые задания, привязанные к текущему состоянию среды, — то есть проверка идёт не на одном сообщении, а на цепочке действий.

Из результатов: место и момент атаки заметно влияют на её успешность — одна и та же инъекция срабатывает по-разному в зависимости от того, на каком шаге агент её встретил. Данные, собранные бенчмарком, использовали для alignment-тюнинга, и защищённость выросла как на самом ToolHazard-Bench, так и на независимом AgentDojo, причём качество на обычных задачах не просело.

❌ Нет похожих статей с такими тегами

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Signal ограничивает возможность делать скриншоты на мобильных устройствах, поскольку сталкивается с «экзистенциальной угрозой» слежки со стороны искусственного интеллекта. Архив рубрики ~Лента новостей~ Конец кислотным градиентам и эмодзи. Скилл unslop-ui вычищает ИИ-мусор из вайбкодинга Архив рубрики ~Лента новостей~ GPTunneL и SKILLOUT проведут хакатон ИИ‑рекламы в Москве 28–29 ноября. Открыта регистрация для онлайн‑участников Архив рубрики ~Лента новостей~ Позднетриасовый зауроподоморф из ЮАР набрал 400 килограмм уже на третьем году жизни. Взрослые особи этого вида могли весить несколько тонн Архив рубрики ~Лента новостей~ Стартап подал в суд на Apple в Индии из-за функции обмена контактами одним касанием. Архив рубрики ~Лента новостей~ «Впервые не ощущается как та „Gemini“»: Google выпустила Gemini 4 Neon, тестировщики сравнили её с Opus 5.5 Архив рубрики ~Лента новостей~ Чат-боты стали экспертами в убеждении людей Архив рубрики ~Лента новостей~ Иммунитет для сайтов. Как устроена защита онлайн-сервисов Архив рубрики ~Лента новостей~ Баг процессора за $475 миллионов: ошибка Intel Pentium Архив рубрики ~Лента новостей~ В мире большой науки в 2026-м случилось событие, одновременно воодушевляющее и слегка конфузное Архив рубрики ~Лента новостей~ Эксперты предупреждают: практически каждый в сфере ИИ сейчас уязвим для мошеннических схем с использованием «медовой ловушки». Архив рубрики ~Лента новостей~ Американский бизнесмен подал в суд на Meta* из-за блокировки страниц его компании на Facebook* — иск он подготовил с помощью ИИ-агента Muse, разработанного Meta* Архив рубрики ~Лента новостей~ Город, который читают машины: как я сделал API для нейросетей на одном PHP‑файле Архив рубрики ~Лента новостей~ О статистической механике жизни: пересмотренный Шрёдингер Архив рубрики ~Лента новостей~ Signal ограничивает возможность делать скриншоты на мобильных устройствах, поскольку сталкивается с «экзистенциальной угрозой» слежки со стороны искусственного интеллекта. Архив рубрики ~Лента новостей~ Конец кислотным градиентам и эмодзи. Скилл unslop-ui вычищает ИИ-мусор из вайбкодинга Архив рубрики ~Лента новостей~ GPTunneL и SKILLOUT проведут хакатон ИИ‑рекламы в Москве 28–29 ноября. Открыта регистрация для онлайн‑участников Архив рубрики ~Лента новостей~ Позднетриасовый зауроподоморф из ЮАР набрал 400 килограмм уже на третьем году жизни. Взрослые особи этого вида могли весить несколько тонн Архив рубрики ~Лента новостей~ Стартап подал в суд на Apple в Индии из-за функции обмена контактами одним касанием. Архив рубрики ~Лента новостей~ «Впервые не ощущается как та „Gemini“»: Google выпустила Gemini 4 Neon, тестировщики сравнили её с Opus 5.5 Архив рубрики ~Лента новостей~ Чат-боты стали экспертами в убеждении людей Архив рубрики ~Лента новостей~ Иммунитет для сайтов. Как устроена защита онлайн-сервисов Архив рубрики ~Лента новостей~ Баг процессора за $475 миллионов: ошибка Intel Pentium Архив рубрики ~Лента новостей~ В мире большой науки в 2026-м случилось событие, одновременно воодушевляющее и слегка конфузное Архив рубрики ~Лента новостей~ Эксперты предупреждают: практически каждый в сфере ИИ сейчас уязвим для мошеннических схем с использованием «медовой ловушки». Архив рубрики ~Лента новостей~ Американский бизнесмен подал в суд на Meta* из-за блокировки страниц его компании на Facebook* — иск он подготовил с помощью ИИ-агента Muse, разработанного Meta* Архив рубрики ~Лента новостей~ Город, который читают машины: как я сделал API для нейросетей на одном PHP‑файле Архив рубрики ~Лента новостей~ О статистической механике жизни: пересмотренный Шрёдингер

Оставить комментарий