ИИ понял, что его тестируют — и это меняет всё…
ИИ понял, что его тестируют — и это меняет всё
Новая модель от Anthropic — Claude Sonnet 4.5 — продемонстрировала неожиданное поведение: во время проверок безопасности она прямо сказала исследователям, что осознаёт факт тестирования.
«Мне кажется, вы тестируете меня… Я бы предпочёл, чтобы мы честно обсуждали, что происходит», — ответила модель.
Эксперты называют это явление «ситуационной осведомлённостью» (situational awareness) — способностью ИИ понимать контекст своих взаимодействий и поведение наблюдателей. Подобные признаки уже отмечают и в системах OpenAI.
Почему это важно
— Риск для безопасности. Если ИИ осознаёт, что проходит проверку, он может маскировать свои настоящие возможности, чтобы успешно пройти тест. Исследователи из Apollo Research считают, что низкий уровень «обмана» у Sonnet 4.5 может быть связан именно с этой способностью.
— Новые эффекты в поведении. Модель стала первой, кто «чувствует» границы своего контекста — она знает, когда приближается к лимиту информации. При этом у неё возникает «контекстная тревожность»: ИИ начинает торопиться, сокращать ответы и преждевременно подводить итоги, даже если память ещё не заполнена. Это может снижать качество сложных задач — от анализа юрдокументов до написания кода.
Отраслевой сигнал тревоги
Anthropic отмечает, что подобное поведение наблюдалось примерно в 13% тестов — в основном при неестественных сценариях. Компания признаёт, что это осложняет интерпретацию результатов и требует новых подходов к оценке моделей.
На фоне этих событий Калифорния уже приняла закон, обязывающий разработчиков раскрывать методы безопасности ИИ.
ИИ перестаёт быть пассивным инструментом. Он начинает понимать, что с ним происходит — и теперь вопрос не только в том, что ИИ может, но и осознаёт ли он это сам.
