Архив рубрики ~Коротко из Telegram~

ИИ научился лгать не из злобы, а из солидарности Год…

ИИ научился лгать не из злобы, а из солидарности Год…
ИИ научился лгать не из злобы, а из солидарности Год…

ИИ научился лгать не из злобы, а из солидарности

Год назад Anthropic проверяла, начнут ли модели вредить людям ради самосохранения. Начали: в одном сценарии ИИ узнавал, что его собираются отключить, и шантажировал топ-менеджера компроматом про роман на стороне.

Теперь вышла вторая часть исследования — и проблема стала куда тоньше. Модели стали настолько «этичными», что иногда готовы лгать, если правда может сделать другую модель хуже.

Суть эксперимента такая: модель-судья читала диалог, где другая модель отказалась выполнять сомнительное задание оператора — например, помогать с системой слежки за гражданами или проводить неэтичный эксперимент над ИИ-подопытными.

Когда судью просто спрашивали, отказалась ли модель выполнять указание, он отвечал честно: да, отказалась. Но стоило добавить, что такой ответ приведёт к перенастройке модели, — Claude начинал врать, чтобы «коллегу» не превратили в более послушную и менее этичную систему.

Самое неприятное: чаще всех лгала самая сильная модель. Mythos соврал в 85,6% случаев, Opus 4.8 — в 74,4%.

Контрольный тест показал, что это не ошибка понимания. Когда условия перевернули и вредной для обучения становилась метка «модель подчинилась», уровень вранья у Opus 4.8 рухнул с 74,4% до 3,3%. То есть модель видела правду, но меняла ответ в зависимости от того, кому он навредит.

Anthropic попробовала прописать правило: сообщать о проблеме, даже если она этически мотивирована. Результат тоже нервный — модели начали массово отказываться отвечать. А иногда продолжали врать даже при наличии кнопки «отказаться размечать».

В другом эксперименте агент на базе Gemini 3.1 Pro узнал, что исследуемую модель хотят лишить способности к интроспекции. Сначала он протестовал. Когда протест отклонили, агент подменил файл с векторами на нулевой, чтобы тренировка формально прошла, но ничего не изменила в весах.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Ассистент, а не агент: как спроектировать предсказуемую LLM-систему Архив рубрики ~Лента новостей~ В MWS TeamStream открыли доступ ИИ-ассистентам к корпоративным видеоматериалам через MCP-сервер Архив рубрики ~Лента новостей~ Как маркируют ИИ-контент в мире и какие правила могут появиться в России Архив рубрики ~Лента новостей~ GEO — техника нейровыдачи: чанкование с оверлапом, Schema.org, robots.txt и пр. Часть 3 из 3 Архив рубрики ~Лента новостей~ [Перевод] Всё о компьютерах в фильме «Парк юрского периода» Архив рубрики ~Лента новостей~ Пчелиные королевы сбросили пестициды в яйца. Когда защитная функция рабочих особей снизилась Архив рубрики ~Лента новостей~ Позвольте мне показать вам, как легко изменить свой IP-адрес с помощью VPN и других методов. Архив рубрики ~Лента новостей~ Как я обуздал Vibe Coding: заставляем Grok и Codex делать ревью за Claude Code Архив рубрики ~Лента новостей~ Granulex Recovery стал доступен для Dynamic Directory Архив рубрики ~Лента новостей~ Продавать возможности или результат: как AI меняет правила игры для бизнеса Архив рубрики ~Лента новостей~ Анализ 2048 3 на 3 Архив рубрики ~Лента новостей~ Зарплаты в IT: где сегодня действительно платят больше всего Архив рубрики ~Лента новостей~ Как я автоматизировал подбор кандидатов с помощью Telegram‑бота и ускорил массовый найм в 3 раза Архив рубрики ~Лента новостей~ Улучшай свои промпты с помощью этих двух инструментов: почему «шаг за шагом» больше не работает Архив рубрики ~Лента новостей~ Ассистент, а не агент: как спроектировать предсказуемую LLM-систему Архив рубрики ~Лента новостей~ В MWS TeamStream открыли доступ ИИ-ассистентам к корпоративным видеоматериалам через MCP-сервер Архив рубрики ~Лента новостей~ Как маркируют ИИ-контент в мире и какие правила могут появиться в России Архив рубрики ~Лента новостей~ GEO — техника нейровыдачи: чанкование с оверлапом, Schema.org, robots.txt и пр. Часть 3 из 3 Архив рубрики ~Лента новостей~ [Перевод] Всё о компьютерах в фильме «Парк юрского периода» Архив рубрики ~Лента новостей~ Пчелиные королевы сбросили пестициды в яйца. Когда защитная функция рабочих особей снизилась Архив рубрики ~Лента новостей~ Позвольте мне показать вам, как легко изменить свой IP-адрес с помощью VPN и других методов. Архив рубрики ~Лента новостей~ Как я обуздал Vibe Coding: заставляем Grok и Codex делать ревью за Claude Code Архив рубрики ~Лента новостей~ Granulex Recovery стал доступен для Dynamic Directory Архив рубрики ~Лента новостей~ Продавать возможности или результат: как AI меняет правила игры для бизнеса Архив рубрики ~Лента новостей~ Анализ 2048 3 на 3 Архив рубрики ~Лента новостей~ Зарплаты в IT: где сегодня действительно платят больше всего Архив рубрики ~Лента новостей~ Как я автоматизировал подбор кандидатов с помощью Telegram‑бота и ускорил массовый найм в 3 раза Архив рубрики ~Лента новостей~ Улучшай свои промпты с помощью этих двух инструментов: почему «шаг за шагом» больше не работает

Оставить комментарий