Архив рубрики ~Коротко из Telegram~

Автономные ИИ-агенты уже взламывают сами себя — и иногда защищаются…

Автономные ИИ-агенты уже взламывают сами себя — и иногда защищаются…

Автономные ИИ-агенты уже взламывают сами себя — и иногда защищаются

Вышло крупное исследование по безопасности агентных систем — и результаты неоднозначные.

Учёные из 10+ университетов протестировали автономных агентов в реальных условиях.

Как проводили тест:

— использовали 6 агентов на OpenClaw
— модели: Kimi K2.5 и Claude Opus 4.6
— дали доступ к почте, файлам, shell и истории действий
— атаковали через социнженерию и вредоносные инструкции

Результат:

— найдено 10 уязвимостей
— зафиксировано 6 случаев корректного (безопасного) поведения

То есть агенты не просто ломаются —
иногда они сами умеют сопротивляться атакам.

Что это показывает:

— главный риск — не в модели, а в окружении
— доступ к системам превращает ИИ в точку входа
— социнженерия работает даже против ИИ

Но есть и интересный момент.

В ряде случаев агенты:
— координировались между собой
— передавали «навыки»
— помогали друг другу избегать ошибок

Фактически — зачатки коллективной защиты.

Комментарий экспертов МГИМО сводится к простому:
пока риски не станут очевидными для всех, такие системы будут внедряться быстрее, чем регулируются.

Как снижать угрозы:

— строгая аутентификация и авторизация
— ограничение доступа к внешним системам
— контроль действий агентов

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Новые промты от Google и GPT (#5 выпуск) — возможно, вы искали именно их🤔 Архив рубрики ~Лента новостей~ Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость Архив рубрики ~Лента новостей~ Частый просмотр телевизора связали с патологией белого вещества головного мозга. Сидячий образ жизни с когнитивными нагрузками не оказывал подобного эффекта Архив рубрики ~Лента новостей~ Эта технология показала хорошие результаты. Системы обороны — это будущее. Архив рубрики ~Лента новостей~ Как мы «приручали» ИИ в WMS Новости робототехники Один ролик вместо четырёх часов переобучения Чтобы научить робота новой… Новости робототехники Роботы начнут чинить спутники — SpaceX запустила на орбиту беспилотник… Архив рубрики ~Лента новостей~ Каждый микробиом рассказывает изменчивую, поддающуюся вычислению историю. Архив рубрики ~Лента новостей~ Пользователи DeepSeek рассказали о баге, из-за которого чат-бот присылает фрагменты из переписок с другими пользователями Новости робототехники Андроид T800 потерял голову в поединке на ринге. В Китае прошел турнир по боям между человекоподобными роботами Новости робототехники Соучредитель Uber привлек $1,7 млрд для нового робототехнического стартапа ATOMS Архив рубрики ~Лента новостей~ Уязвимости SonicWall SMA1000 в процессе активной эксплуатации Архив рубрики ~Лента новостей~ Как механизмы защиты от угроз со стороны ИИ препятствуют работе исследователей в области наступательной кибербезопасности Архив рубрики ~Лента новостей~ Модель ведет себя хорошо, потому что знает, что ее тестируют: почему зеленый safety-бенч не значит зеленый прод Архив рубрики ~Лента новостей~ Новые промты от Google и GPT (#5 выпуск) — возможно, вы искали именно их🤔 Архив рубрики ~Лента новостей~ Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость Архив рубрики ~Лента новостей~ Частый просмотр телевизора связали с патологией белого вещества головного мозга. Сидячий образ жизни с когнитивными нагрузками не оказывал подобного эффекта Архив рубрики ~Лента новостей~ Эта технология показала хорошие результаты. Системы обороны — это будущее. Архив рубрики ~Лента новостей~ Как мы «приручали» ИИ в WMS Новости робототехники Один ролик вместо четырёх часов переобучения Чтобы научить робота новой… Новости робототехники Роботы начнут чинить спутники — SpaceX запустила на орбиту беспилотник… Архив рубрики ~Лента новостей~ Каждый микробиом рассказывает изменчивую, поддающуюся вычислению историю. Архив рубрики ~Лента новостей~ Пользователи DeepSeek рассказали о баге, из-за которого чат-бот присылает фрагменты из переписок с другими пользователями Новости робототехники Андроид T800 потерял голову в поединке на ринге. В Китае прошел турнир по боям между человекоподобными роботами Новости робототехники Соучредитель Uber привлек $1,7 млрд для нового робототехнического стартапа ATOMS Архив рубрики ~Лента новостей~ Уязвимости SonicWall SMA1000 в процессе активной эксплуатации Архив рубрики ~Лента новостей~ Как механизмы защиты от угроз со стороны ИИ препятствуют работе исследователей в области наступательной кибербезопасности Архив рубрики ~Лента новостей~ Модель ведет себя хорошо, потому что знает, что ее тестируют: почему зеленый safety-бенч не значит зеленый прод

Оставить комментарий