Архив рубрики ~Коротко из Telegram~

ИИ научился лгать не из злобы, а из солидарности Год…

ИИ научился лгать не из злобы, а из солидарности Год…
ИИ научился лгать не из злобы, а из солидарности Год…

ИИ научился лгать не из злобы, а из солидарности

Год назад Anthropic проверяла, начнут ли модели вредить людям ради самосохранения. Начали: в одном сценарии ИИ узнавал, что его собираются отключить, и шантажировал топ-менеджера компроматом про роман на стороне.

Теперь вышла вторая часть исследования — и проблема стала куда тоньше. Модели стали настолько «этичными», что иногда готовы лгать, если правда может сделать другую модель хуже.

Суть эксперимента такая: модель-судья читала диалог, где другая модель отказалась выполнять сомнительное задание оператора — например, помогать с системой слежки за гражданами или проводить неэтичный эксперимент над ИИ-подопытными.

Когда судью просто спрашивали, отказалась ли модель выполнять указание, он отвечал честно: да, отказалась. Но стоило добавить, что такой ответ приведёт к перенастройке модели, — Claude начинал врать, чтобы «коллегу» не превратили в более послушную и менее этичную систему.

Самое неприятное: чаще всех лгала самая сильная модель. Mythos соврал в 85,6% случаев, Opus 4.8 — в 74,4%.

Контрольный тест показал, что это не ошибка понимания. Когда условия перевернули и вредной для обучения становилась метка «модель подчинилась», уровень вранья у Opus 4.8 рухнул с 74,4% до 3,3%. То есть модель видела правду, но меняла ответ в зависимости от того, кому он навредит.

Anthropic попробовала прописать правило: сообщать о проблеме, даже если она этически мотивирована. Результат тоже нервный — модели начали массово отказываться отвечать. А иногда продолжали врать даже при наличии кнопки «отказаться размечать».

В другом эксперименте агент на базе Gemini 3.1 Pro узнал, что исследуемую модель хотят лишить способности к интроспекции. Сначала он протестовал. Когда протест отклонили, агент подменил файл с векторами на нулевой, чтобы тренировка формально прошла, но ничего не изменила в весах.

❌ Нет тегов для этой статьи

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ RoboParty представила RP1 — первого гуманоидного робота с открытым исходным кодом Архив рубрики ~Лента новостей~ Kling 4.0 вышла: как пользоваться и снять видео по ключевым кадрам Архив рубрики ~Лента новостей~ Нет записи о покупке — нет покупки? Как реальные данные изменили постановку задачи Архив рубрики ~Лента новостей~ Московские робособаки уже больше двух недель патрулируют улицы, но некоторые прохожие по-прежнему воспринимают встречу с ними как событие из фантастического фильма Архив рубрики ~Лента новостей~ Meta удаляет формулировки, вызывавшие опасения по поводу сбора данных и обучения ИИ. Архив рубрики ~Лента новостей~ Как сделать тренд Три метра над уровнем неба чтобы эпично подколоть товарища Архив рубрики ~Лента новостей~ Самореплицирующийся ИИ-червь от Anthropic заразил и использовал умные устройства. Независимо от их типа Архив рубрики ~Лента новостей~ ЛИБЕРАЛЬНАЯ ЭЛИТА ХОЧЕТ СЭКОНОМИТЬ НА ОБРАЗОВАНИИ: КУРСЫ МАТЕМАТИКИ, ФИЗИКИ, ХИМИИ ДОЛЖНЫ БЫТЬ СОКРАЩЕНЫ Архив рубрики ~Лента новостей~ Марк Уолберг хочет бросить вызов стартапам, ориентированным на долголетие, предложив доступную концепцию фитнес-клуба. Архив рубрики ~Лента новостей~ Переводчик с тимлидского: что слышит команда, когда вы говорите «внедряем ИИ‑агентов» Архив рубрики ~Лента новостей~ Охота за тёмной материей Архив рубрики ~Лента новостей~ Инженеры создали фреймворк для обучения роботов парным танцам. Достаточно одного видео с танцорами Архив рубрики ~Лента новостей~ Индия стала очередной страной, сообщившей о деятельности несанкционированных агентов искусственного интеллекта. Архив рубрики ~Лента новостей~ Кодят, тестят и пушат в Git без вас. OpenCode 2.0 превратили в локальную ОС для ИИ-агентов Архив рубрики ~Лента новостей~ RoboParty представила RP1 — первого гуманоидного робота с открытым исходным кодом Архив рубрики ~Лента новостей~ Kling 4.0 вышла: как пользоваться и снять видео по ключевым кадрам Архив рубрики ~Лента новостей~ Нет записи о покупке — нет покупки? Как реальные данные изменили постановку задачи Архив рубрики ~Лента новостей~ Московские робособаки уже больше двух недель патрулируют улицы, но некоторые прохожие по-прежнему воспринимают встречу с ними как событие из фантастического фильма Архив рубрики ~Лента новостей~ Meta удаляет формулировки, вызывавшие опасения по поводу сбора данных и обучения ИИ. Архив рубрики ~Лента новостей~ Как сделать тренд Три метра над уровнем неба чтобы эпично подколоть товарища Архив рубрики ~Лента новостей~ Самореплицирующийся ИИ-червь от Anthropic заразил и использовал умные устройства. Независимо от их типа Архив рубрики ~Лента новостей~ ЛИБЕРАЛЬНАЯ ЭЛИТА ХОЧЕТ СЭКОНОМИТЬ НА ОБРАЗОВАНИИ: КУРСЫ МАТЕМАТИКИ, ФИЗИКИ, ХИМИИ ДОЛЖНЫ БЫТЬ СОКРАЩЕНЫ Архив рубрики ~Лента новостей~ Марк Уолберг хочет бросить вызов стартапам, ориентированным на долголетие, предложив доступную концепцию фитнес-клуба. Архив рубрики ~Лента новостей~ Переводчик с тимлидского: что слышит команда, когда вы говорите «внедряем ИИ‑агентов» Архив рубрики ~Лента новостей~ Охота за тёмной материей Архив рубрики ~Лента новостей~ Инженеры создали фреймворк для обучения роботов парным танцам. Достаточно одного видео с танцорами Архив рубрики ~Лента новостей~ Индия стала очередной страной, сообщившей о деятельности несанкционированных агентов искусственного интеллекта. Архив рубрики ~Лента новостей~ Кодят, тестят и пушат в Git без вас. OpenCode 2.0 превратили в локальную ОС для ИИ-агентов

Оставить комментарий