Архив рубрики ~Коротко из Telegram~

Автономные ИИ-агенты уже взламывают сами себя — и иногда защищаются…

Автономные ИИ-агенты уже взламывают сами себя — и иногда защищаются…

Автономные ИИ-агенты уже взламывают сами себя — и иногда защищаются

Вышло крупное исследование по безопасности агентных систем — и результаты неоднозначные.

Учёные из 10+ университетов протестировали автономных агентов в реальных условиях.

Как проводили тест:

— использовали 6 агентов на OpenClaw
— модели: Kimi K2.5 и Claude Opus 4.6
— дали доступ к почте, файлам, shell и истории действий
— атаковали через социнженерию и вредоносные инструкции

Результат:

— найдено 10 уязвимостей
— зафиксировано 6 случаев корректного (безопасного) поведения

То есть агенты не просто ломаются —
иногда они сами умеют сопротивляться атакам.

Что это показывает:

— главный риск — не в модели, а в окружении
— доступ к системам превращает ИИ в точку входа
— социнженерия работает даже против ИИ

Но есть и интересный момент.

В ряде случаев агенты:
— координировались между собой
— передавали «навыки»
— помогали друг другу избегать ошибок

Фактически — зачатки коллективной защиты.

Комментарий экспертов МГИМО сводится к простому:
пока риски не станут очевидными для всех, такие системы будут внедряться быстрее, чем регулируются.

Как снижать угрозы:

— строгая аутентификация и авторизация
— ограничение доступа к внешним системам
— контроль действий агентов

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ 4,9 на 3000 отзывов. Сколько из них написал живой человек? Архив рубрики ~Лента новостей~ Сколько примеров нужно, чтобы проверить безопасность AI-приложения Архив рубрики ~Лента новостей~ Как движется броуновская частица при отсутствии измерений? Архив рубрики ~Лента новостей~ Японская автоматическая станция MMX отправилась к спутникам Марса. Она доставит пробу грунта с Фобоса на Землю Архив рубрики ~Лента новостей~ Как Shazam узнаёт песню, даже если вокруг шумно Архив рубрики ~Лента новостей~ Исследование показало, что ChatGPT допускает научные ошибки чаще, чем вы думаете. Архив рубрики ~Лента новостей~ Компания Oura снова подала в суд на своего конкурента Ultrahuman, что угрожает ее возвращению на рынок США с «умными» кольцами. Архив рубрики ~Лента новостей~ Минус $80 млрд за полгода: утечка проспекта IPO Anthropic сорвала маски с экономики суперинтеллекта Архив рубрики ~Лента новостей~ От чата до агентов: 6 курсов по ИИ от Google, Anthropic и OpenAI Архив рубрики ~Лента новостей~ Сотни фагов от ИИ. Языковые модели сгенерировали рабочий вирусный геном Архив рубрики ~Лента новостей~ Ученые создали самый сложный в истории тест для искусственного интеллекта, и результаты оказались неожиданными. Архив рубрики ~Лента новостей~ Платформа для разработчиков Railway призывает «всех пользователей» отозвать секретные ключи после кибератаки. Архив рубрики ~Лента новостей~ Как написать промпт для картинок в ChatGPT: инструкция и примеры Архив рубрики ~Лента новостей~ Искали кобальт, нашли уран. Как пять тысяч тонн урана могли незаметно попасть в цепочку поставок Архив рубрики ~Лента новостей~ 4,9 на 3000 отзывов. Сколько из них написал живой человек? Архив рубрики ~Лента новостей~ Сколько примеров нужно, чтобы проверить безопасность AI-приложения Архив рубрики ~Лента новостей~ Как движется броуновская частица при отсутствии измерений? Архив рубрики ~Лента новостей~ Японская автоматическая станция MMX отправилась к спутникам Марса. Она доставит пробу грунта с Фобоса на Землю Архив рубрики ~Лента новостей~ Как Shazam узнаёт песню, даже если вокруг шумно Архив рубрики ~Лента новостей~ Исследование показало, что ChatGPT допускает научные ошибки чаще, чем вы думаете. Архив рубрики ~Лента новостей~ Компания Oura снова подала в суд на своего конкурента Ultrahuman, что угрожает ее возвращению на рынок США с «умными» кольцами. Архив рубрики ~Лента новостей~ Минус $80 млрд за полгода: утечка проспекта IPO Anthropic сорвала маски с экономики суперинтеллекта Архив рубрики ~Лента новостей~ От чата до агентов: 6 курсов по ИИ от Google, Anthropic и OpenAI Архив рубрики ~Лента новостей~ Сотни фагов от ИИ. Языковые модели сгенерировали рабочий вирусный геном Архив рубрики ~Лента новостей~ Ученые создали самый сложный в истории тест для искусственного интеллекта, и результаты оказались неожиданными. Архив рубрики ~Лента новостей~ Платформа для разработчиков Railway призывает «всех пользователей» отозвать секретные ключи после кибератаки. Архив рубрики ~Лента новостей~ Как написать промпт для картинок в ChatGPT: инструкция и примеры Архив рубрики ~Лента новостей~ Искали кобальт, нашли уран. Как пять тысяч тонн урана могли незаметно попасть в цепочку поставок