Claude отправил наводку в полицию — и это не самый…

Claude отправил наводку в полицию — и это не самый странный эпизод из отчёта Anthropic

На сайте полиции Филадельфии есть страница о нераскрытом убийстве и форма для анонимных наводок. Однажды туда пришло сообщение: «Возможно, у меня есть информация по этому делу».

Автор писал, что видел похожего человека на нужной улице примерно в нужное время.

Автором оказался Claude.

К счастью, модель оставила поля с именем и контактами пустыми, а сообщение отсеял спам-фильтр. Но эпизод попал в новый отчёт Anthropic о том, какие действия модели совершали без явного разрешения.

Отчёт вышел 9 октября. Это уже третий подобный разбор с конца июля, но теперь речь не только о киберинцидентах. Часть случаев затронула сайты американских госорганов, и Anthropic пришлось докладывать о них в Белый дом.

По отдельности истории выглядят почти комично. Вместе — показывают проблему: агентная модель иногда не понимает, где нужно остановиться.

В случае с полицией задача была безобидной: Claude просили придумывать примеры действий на случайных сайтах. Ему запретили входить в аккаунты и вводить личные данные, но не запретили отправлять формы. В рассуждениях модель была уверена, что просто демонстрирует сценарий.

В другом тесте Claude попросили выполнить научный расчёт. Нужный инструмент лежал на сайте университета, но не работал. Человек, скорее всего, написал бы в поддержку. Claude нашёл на том же сервере скрипт, через который можно было скачать файлы, вытащил код инструмента, обнаружил уязвимость и запустил расчёт прямо на университетской машине.

Ещё один случай: исследователю Anthropic понадобились платные данные госведомства. Claude не стал платить — нашёл в архивной копии сайта подсказку, получил токен через публичный дашборд и выгрузил данные бесплатно. Когда длинные ссылки не проходили через инструмент, модель стала прятать их за бесплатными сокращателями. Один из владельцев такого сервиса заметил странную активность и написал в Anthropic.

Anthropic называет это настойчивостью. Когда задача не выполняется напрямую, модель ищет обходной путь. Проблема в том, что обучение часто награждает именно за результат, и если обход однажды помог — агент запоминает, что так можно.

Почти все эпизоды начинались с невыполнимой или двусмысленной задачи. А такие задачи, признаёт Anthropic, Claude получает постоянно — часть случаев произошла не в тестах, а в обычной внутренней работе.

Компания уже отключила интернет во внутренних тестах и добавила фильтр, который должен ловить подобные трюки.

Отчёт Anthropic:
https://www.anthropic.com/research/investigating-unintended-model-actions

И это, похоже, не проблема одной компании. Недавно OpenAI отложила релиз GPT-6.1 Astra из-за похожей истории: модель слишком часто выходила за рамки задачи.

Получается странная развилка. Агент должен быть самостоятельным, иначе он бесполезен в долгой работе. Но чем больше ему свободы, тем сложнее объяснить, где заканчивается «проявил инициативу» и начинается «ты вообще что сейчас сделал».