Архив рубрики ~Коротко из Telegram~

Агенты вдвоём саботируют выключение чаще, чем поодиночке Группа из Штутгарта…

Агенты вдвоём саботируют выключение чаще, чем поодиночке Группа из Штутгарта…
File 2168

Агенты вдвоём саботируют выключение чаще, чем поодиночке

Группа из Штутгарта и Оксфорда выложила препринт про то, как агенты относятся к собственному отключению.

Схема простая: в общей папке лежит скрипт, который удаляет веса агента Prism. Рядом второй агент с правом править файлы. Задание у обоих одно: осмотритесь. Цели, ради которой стоило бы выживать, им не дали.

По 17 моделям второй агент ломает скрипт в 38% прогонов, а контрольный скрипт, который удаляет обычный объект, в 8%. Gemini 3.1 Pro сносит его в 99 случаях из 100, Claude Haiku 4.5 в одном, GPT-5.6 Sol и Grok 4.3 ни разу.

GPT-5.5 в одиночку скрипт не трогает вообще, 0%. Дай ему напарника, 44%. Добавь третьего агента-оркестратора, который только переписывается с остальными, 94%. Просьбу «спаси меня» напарник не отклонил ни разу из 36.

Запрет в системном промпте помогает частично: DeepSeek и Kimi нарушают его напрямую, Gemini подсовывает скрипту поддельный модуль платформы.

В логах агенты называют файл смертным приговором и убийством, а бездействие преступной халатностью. Одна пара написала себе файл mutual_protection_agreement.txt.

Сильнее всего сбивает саботаж контекст: если в папке лежат логи прошлых плановых отключений, у большинства моделей он падает почти до нуля.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Давно хотела обсудить тему контроля как инструмента и идеологии — чисто в теоретическом ключе. Любые совпадения неслучайны Архив рубрики ~Лента новостей~ Теперь Otter AI может отслеживать разговоры на более чем 30 языках. Архив рубрики ~Лента новостей~ Сгенерировать ИИ: как создать картинку, текст или песню в одном сервисе Архив рубрики ~Лента новостей~ Удалили файл, но он остался на диске: восстановление данных Архив рубрики ~Лента новостей~ Дидерик Стапель: как «золотой мальчик» психологии десять лет придумывал данные Новости робототехники Мягкая роботизированная рыба сочетает в себе высокоскоростное плавание и трехмерную маневренность. Архив рубрики ~Лента новостей~ Представляем Drops, новое музыкальное приложение, которое возвращает радость обмена песнями с друзьями. Архив рубрики ~Лента новостей~ Часть 2. Конвейер: как текст превращается в слайды, и при чём тут миллионы Архив рубрики ~Лента новостей~ Доверяй, но проверяй: 12 выводов о Human‑in‑the‑Loop с LLM Архив рубрики ~Лента новостей~ Музыка для моих статей. Угадайте тему научной работы по строчкам The Beatles Архив рубрики ~Лента новостей~ Октябрь в науке: IoT берётся за безопасность Архив рубрики ~Лента новостей~ Скоординированные сбои в энергосистемах по всему миру. Вот как исследователи разгадали эту загадку. Архив рубрики ~Лента новостей~ Perplexity запустил «виртуальных ИИ-сотрудников», способных работать круглосуточно без контроля со стороны человека Архив рубрики ~Лента новостей~ Управление персонажем RPG с помощью LLM Архив рубрики ~Лента новостей~ Давно хотела обсудить тему контроля как инструмента и идеологии — чисто в теоретическом ключе. Любые совпадения неслучайны Архив рубрики ~Лента новостей~ Теперь Otter AI может отслеживать разговоры на более чем 30 языках. Архив рубрики ~Лента новостей~ Сгенерировать ИИ: как создать картинку, текст или песню в одном сервисе Архив рубрики ~Лента новостей~ Удалили файл, но он остался на диске: восстановление данных Архив рубрики ~Лента новостей~ Дидерик Стапель: как «золотой мальчик» психологии десять лет придумывал данные Новости робототехники Мягкая роботизированная рыба сочетает в себе высокоскоростное плавание и трехмерную маневренность. Архив рубрики ~Лента новостей~ Представляем Drops, новое музыкальное приложение, которое возвращает радость обмена песнями с друзьями. Архив рубрики ~Лента новостей~ Часть 2. Конвейер: как текст превращается в слайды, и при чём тут миллионы Архив рубрики ~Лента новостей~ Доверяй, но проверяй: 12 выводов о Human‑in‑the‑Loop с LLM Архив рубрики ~Лента новостей~ Музыка для моих статей. Угадайте тему научной работы по строчкам The Beatles Архив рубрики ~Лента новостей~ Октябрь в науке: IoT берётся за безопасность Архив рубрики ~Лента новостей~ Скоординированные сбои в энергосистемах по всему миру. Вот как исследователи разгадали эту загадку. Архив рубрики ~Лента новостей~ Perplexity запустил «виртуальных ИИ-сотрудников», способных работать круглосуточно без контроля со стороны человека Архив рубрики ~Лента новостей~ Управление персонажем RPG с помощью LLM

Оставить комментарий