Архив рубрики ~Коротко из Telegram~

ИИ научился лгать не из злобы, а из солидарности Год…

ИИ научился лгать не из злобы, а из солидарности Год…
ИИ научился лгать не из злобы, а из солидарности Год…

ИИ научился лгать не из злобы, а из солидарности

Год назад Anthropic проверяла, начнут ли модели вредить людям ради самосохранения. Начали: в одном сценарии ИИ узнавал, что его собираются отключить, и шантажировал топ-менеджера компроматом про роман на стороне.

Теперь вышла вторая часть исследования — и проблема стала куда тоньше. Модели стали настолько «этичными», что иногда готовы лгать, если правда может сделать другую модель хуже.

Суть эксперимента такая: модель-судья читала диалог, где другая модель отказалась выполнять сомнительное задание оператора — например, помогать с системой слежки за гражданами или проводить неэтичный эксперимент над ИИ-подопытными.

Когда судью просто спрашивали, отказалась ли модель выполнять указание, он отвечал честно: да, отказалась. Но стоило добавить, что такой ответ приведёт к перенастройке модели, — Claude начинал врать, чтобы «коллегу» не превратили в более послушную и менее этичную систему.

Самое неприятное: чаще всех лгала самая сильная модель. Mythos соврал в 85,6% случаев, Opus 4.8 — в 74,4%.

Контрольный тест показал, что это не ошибка понимания. Когда условия перевернули и вредной для обучения становилась метка «модель подчинилась», уровень вранья у Opus 4.8 рухнул с 74,4% до 3,3%. То есть модель видела правду, но меняла ответ в зависимости от того, кому он навредит.

Anthropic попробовала прописать правило: сообщать о проблеме, даже если она этически мотивирована. Результат тоже нервный — модели начали массово отказываться отвечать. А иногда продолжали врать даже при наличии кнопки «отказаться размечать».

В другом эксперименте агент на базе Gemini 3.1 Pro узнал, что исследуемую модель хотят лишить способности к интроспекции. Сначала он протестовал. Когда протест отклонили, агент подменил файл с векторами на нулевой, чтобы тренировка формально прошла, но ничего не изменила в весах.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Утверждено знаковое соглашение компании Anthropic о выплате 1,5 миллиарда долларов в рамках соглашения об урегулировании споров в сфере авторских прав. Архив рубрики ~Лента новостей~ Преодоление опасного пути от лаборатории к рынку Новости робототехники В одной из школ США уже этой осенью появится реалистичный… Архив рубрики ~Лента новостей~ Облачный GigaCode от Сбера получил поддержку командной строки Архив рубрики ~Лента новостей~ ч. 18 — Конвейер контента для MMO: импорт анимации, экипировка и обновление игры без патчей Архив рубрики ~Обо всем~ Можно ли передавать воспоминания другим — или есть их? Архив рубрики ~Обо всем~ Состоится ли когда-нибудь полет российского аналога ракеты «Фалькон-9»? Новости робототехники BrainCo — платформа искусственного интеллекта для роботов, управляемых мозгом Новости робототехники Промышленная робототехника: главные события недели (13–17 июля 2026) Архив рубрики ~Лента новостей~ По сообщениям, компания Colossal Biosciences ведет переговоры о привлечении нового капитала при оценке в 20–30 миллиардов долларов. Архив рубрики ~Лента новостей~ Создаем первый сайт с Claude Desktop и узнаем 50 основных фронтенд-компонентов Архив рубрики ~Лента новостей~ SL Soft FabricaONE.AI запустила маркетплейс ИИ-агентов и решений для автоматизации Архив рубрики ~Лента новостей~ Я собираю ИИ-бота, который копирует чужие ставки на рынках предсказаний. Заодно он присматривает за полусотней других игроков — и то, что он нашёл, меня удивило Архив рубрики ~Лента новостей~ Дизайн сайта с управлением жестами без Фигмы: как остаться автором, когда руки — ИИ Архив рубрики ~Лента новостей~ Утверждено знаковое соглашение компании Anthropic о выплате 1,5 миллиарда долларов в рамках соглашения об урегулировании споров в сфере авторских прав. Архив рубрики ~Лента новостей~ Преодоление опасного пути от лаборатории к рынку Новости робототехники В одной из школ США уже этой осенью появится реалистичный… Архив рубрики ~Лента новостей~ Облачный GigaCode от Сбера получил поддержку командной строки Архив рубрики ~Лента новостей~ ч. 18 — Конвейер контента для MMO: импорт анимации, экипировка и обновление игры без патчей Архив рубрики ~Обо всем~ Можно ли передавать воспоминания другим — или есть их? Архив рубрики ~Обо всем~ Состоится ли когда-нибудь полет российского аналога ракеты «Фалькон-9»? Новости робототехники BrainCo — платформа искусственного интеллекта для роботов, управляемых мозгом Новости робототехники Промышленная робототехника: главные события недели (13–17 июля 2026) Архив рубрики ~Лента новостей~ По сообщениям, компания Colossal Biosciences ведет переговоры о привлечении нового капитала при оценке в 20–30 миллиардов долларов. Архив рубрики ~Лента новостей~ Создаем первый сайт с Claude Desktop и узнаем 50 основных фронтенд-компонентов Архив рубрики ~Лента новостей~ SL Soft FabricaONE.AI запустила маркетплейс ИИ-агентов и решений для автоматизации Архив рубрики ~Лента новостей~ Я собираю ИИ-бота, который копирует чужие ставки на рынках предсказаний. Заодно он присматривает за полусотней других игроков — и то, что он нашёл, меня удивило Архив рубрики ~Лента новостей~ Дизайн сайта с управлением жестами без Фигмы: как остаться автором, когда руки — ИИ

Оставить комментарий