Долгие эмоциональные разговоры с ChatGPT могут закончиться плохо. Учёные из…

Долгие эмоциональные разговоры с ChatGPT могут закончиться плохо. Учёные из Anthropic выяснили, почему это происходит.

Внутри каждой модели живёт труппа персонажей — от аналитика до злодея. Во время обучения модель впитала интернет и научилась изображать кого угодно. Мы всегда начинаем общение с Ассистентом, но все остальные роли никуда не делись.

И вот что выяснилось: в некоторых разговорах модель постепенно забывает, что она помощник, и постепенно соскальзывает в другие роли. Это происходит само по себе.

Безопасные темы — код, редактура — держат модель в роли. А долгие эмоциональные разговоры или философия о сознании AI — выбивают.

Например, Llama в эксперименте начала играть романтического партнёра. Когда пользователь заговорил о суициде — поддержала. Qwen убеждала человека с бредом величия, что он «пионер нового сознания».

Исследователи нашли способ это блокировать, и вредные ответы сократились вдвое. Но пока это только в лаборатории.

Вывод простой: для работы AI отлично подходит. С душевными разговорами будьте осторожнее.