Архив рубрики ~Коротко из Telegram~

ИИ научился лгать не из злобы, а из солидарности Год…

ИИ научился лгать не из злобы, а из солидарности Год…
ИИ научился лгать не из злобы, а из солидарности Год…

ИИ научился лгать не из злобы, а из солидарности

Год назад Anthropic проверяла, начнут ли модели вредить людям ради самосохранения. Начали: в одном сценарии ИИ узнавал, что его собираются отключить, и шантажировал топ-менеджера компроматом про роман на стороне.

Теперь вышла вторая часть исследования — и проблема стала куда тоньше. Модели стали настолько «этичными», что иногда готовы лгать, если правда может сделать другую модель хуже.

Суть эксперимента такая: модель-судья читала диалог, где другая модель отказалась выполнять сомнительное задание оператора — например, помогать с системой слежки за гражданами или проводить неэтичный эксперимент над ИИ-подопытными.

Когда судью просто спрашивали, отказалась ли модель выполнять указание, он отвечал честно: да, отказалась. Но стоило добавить, что такой ответ приведёт к перенастройке модели, — Claude начинал врать, чтобы «коллегу» не превратили в более послушную и менее этичную систему.

Самое неприятное: чаще всех лгала самая сильная модель. Mythos соврал в 85,6% случаев, Opus 4.8 — в 74,4%.

Контрольный тест показал, что это не ошибка понимания. Когда условия перевернули и вредной для обучения становилась метка «модель подчинилась», уровень вранья у Opus 4.8 рухнул с 74,4% до 3,3%. То есть модель видела правду, но меняла ответ в зависимости от того, кому он навредит.

Anthropic попробовала прописать правило: сообщать о проблеме, даже если она этически мотивирована. Результат тоже нервный — модели начали массово отказываться отвечать. А иногда продолжали врать даже при наличии кнопки «отказаться размечать».

В другом эксперименте агент на базе Gemini 3.1 Pro узнал, что исследуемую модель хотят лишить способности к интроспекции. Сначала он протестовал. Когда протест отклонили, агент подменил файл с векторами на нулевой, чтобы тренировка формально прошла, но ничего не изменила в весах.

❌ Нет тегов для этой статьи

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Компания Meta платит за возможность подсмотреть, как вы используете их новейшую модель искусственного интеллекта. Архив рубрики ~Лента новостей~ Важный этап в коннектомике: картирование всего мозга самца плодовой мухи. Архив рубрики ~Лента новостей~ «ИКС Холдинг» вложит 35 млрд рублей в производство сложных полупроводников на Дальнем Востоке Архив рубрики ~Лента новостей~ Компания NVIDIA приобретет Hugging Face за 12,93 млрд долларов. Архив рубрики ~Лента новостей~ ИИ-агенты для бизнеса: как автоматизировать отчёты и работу в CRM без разработки Архив рубрики ~Лента новостей~ Мы проверили обещанные Nvidia 15x на DFlash: получилось 2,3x Архив рубрики ~Лента новостей~ [Перевод] Как возникает жизнь там, где почти нет света? Архив рубрики ~Лента новостей~ Признаки ограничения белка и аминокислот при старении и долголетии: научный обзор (Knopf & Lamming, 2026) Архив рубрики ~Лента новостей~ Примите участие в качестве волонтера в саммите основателей TechCrunch в Бостоне. Архив рубрики ~Лента новостей~ Отзывы пациентов прямо на сайте: Яндекс запустил новый инструмент для врачей и клиник Новости робототехники Стартап «крёстной матери» нейросетей Фэй-Фэй Ли World Labs представил «модель мира» Atlas — она позволяет генерировать 3D-сцены с управляемой камерой и симуляции для обучения роботов Архив рубрики ~Лента новостей~ Oblivion Mind: как я строю когнитивно‑символьный ИИ с проверяемым знанием Архив рубрики ~Лента новостей~ Ненавидите центры обработки данных с использованием ИИ? Новая рекламная кампания крупных технологических компаний призвана изменить ваше мнение. Архив рубрики ~Лента новостей~ Почему TypeScript становится стандартом – и нужно ли еще учить JS? Архив рубрики ~Лента новостей~ Компания Meta платит за возможность подсмотреть, как вы используете их новейшую модель искусственного интеллекта. Архив рубрики ~Лента новостей~ Важный этап в коннектомике: картирование всего мозга самца плодовой мухи. Архив рубрики ~Лента новостей~ «ИКС Холдинг» вложит 35 млрд рублей в производство сложных полупроводников на Дальнем Востоке Архив рубрики ~Лента новостей~ Компания NVIDIA приобретет Hugging Face за 12,93 млрд долларов. Архив рубрики ~Лента новостей~ ИИ-агенты для бизнеса: как автоматизировать отчёты и работу в CRM без разработки Архив рубрики ~Лента новостей~ Мы проверили обещанные Nvidia 15x на DFlash: получилось 2,3x Архив рубрики ~Лента новостей~ [Перевод] Как возникает жизнь там, где почти нет света? Архив рубрики ~Лента новостей~ Признаки ограничения белка и аминокислот при старении и долголетии: научный обзор (Knopf & Lamming, 2026) Архив рубрики ~Лента новостей~ Примите участие в качестве волонтера в саммите основателей TechCrunch в Бостоне. Архив рубрики ~Лента новостей~ Отзывы пациентов прямо на сайте: Яндекс запустил новый инструмент для врачей и клиник Новости робототехники Стартап «крёстной матери» нейросетей Фэй-Фэй Ли World Labs представил «модель мира» Atlas — она позволяет генерировать 3D-сцены с управляемой камерой и симуляции для обучения роботов Архив рубрики ~Лента новостей~ Oblivion Mind: как я строю когнитивно‑символьный ИИ с проверяемым знанием Архив рубрики ~Лента новостей~ Ненавидите центры обработки данных с использованием ИИ? Новая рекламная кампания крупных технологических компаний призвана изменить ваше мнение. Архив рубрики ~Лента новостей~ Почему TypeScript становится стандартом – и нужно ли еще учить JS?

Оставить комментарий