OpenAI сообщает, что более миллиона человек еженедельно общаются с ChatGPT о самоубийствах

В понедельник компания OpenAI опубликовала новые данные, показывающие, сколько пользователей ChatGPT испытывают проблемы с психическим здоровьем и рассказывают об этом чат-боту с искусственным интеллектом. Компания утверждает, что 0,15% активных пользователей ChatGPT в неделю «общаются с явными признаками потенциального планирования или намерения совершить самоубийство». Учитывая, что еженедельно ChatGPT посещают более 800 миллионов человек, это означает более миллиона человек в неделю.

Компания утверждает, что аналогичный процент пользователей демонстрирует «повышенный уровень эмоциональной привязанности к ChatGPT» и что сотни тысяч людей проявляют признаки психоза или мании в своих еженедельных беседах с чат-ботом на основе искусственного интеллекта.

OpenAI утверждает, что подобные разговоры в ChatGPT встречаются «крайне редко» и поэтому их сложно измерить. Тем не менее, по оценкам компании, подобные проблемы затрагивают сотни тысяч людей каждую неделю.

Компания OpenAI поделилась этой информацией в рамках более широкого заявления о своих недавних усилиях по улучшению реагирования моделей на пользователей с проблемами психического здоровья. Компания утверждает, что в ходе последней работы над ChatGPT были проведены консультации с более чем 170 экспертами в области психического здоровья. OpenAI утверждает, что эти специалисты отметили, что последняя версия ChatGPT «реагирует более адекватно и последовательно, чем предыдущие версии».

В последние месяцы несколько историй пролили свет на то, как чат-боты на основе искусственного интеллекта могут негативно влиять на пользователей, страдающих от проблем с психическим здоровьем. Исследователи ранее обнаружили, что чат-боты на основе искусственного интеллекта могут затягивать некоторых пользователей в бредовые кроличьи норы, в основном укрепляя опасные убеждения посредством подхалимского поведения.

Решение проблем психического здоровья в ChatGPT быстро становится экзистенциальной проблемой для OpenAI. В настоящее время компания сталкивается с иском от родителей 16-летнего подростка, который поделился с ChatGPT своими суицидальными мыслями за несколько недель до самоубийства. Генеральные прокуроры штатов Калифорния и Делавэр, которые могут заблокировать запланированную реструктуризацию компании, также предупредили OpenAI о необходимости защиты молодых людей, использующих их продукты.

Ранее в этом месяце генеральный директор OpenAI Сэм Альтман заявил в публикации на X, что компании «удалось смягчить серьёзные проблемы с психическим здоровьем» в ChatGPT, хотя и не вдавался в подробности. Данные, опубликованные в понедельник, похоже, подтверждают это заявление, хотя и поднимают более общие вопросы о масштабах проблемы. Тем не менее, Альтман заявил, что OpenAI смягчит некоторые ограничения, даже разрешив взрослым пользователям начинать эротические беседы с чат-ботом ИИ.

В заявлении, опубликованном в понедельник, OpenAI утверждает, что недавно обновлённая версия GPT-5 реагирует на проблемы психического здоровья примерно на 65% эффективнее предыдущей версии. В ходе оценочного тестирования реакции ИИ на разговоры о суициде OpenAI заявила, что её новая модель GPT-5 на 91% соответствует желаемому поведению компании, по сравнению с 77% у предыдущей модели GPT-5.

Компания также заявляет, что её последняя версия GPT-5 лучше справляется с защитными мерами OpenAI при длительных разговорах. Ранее OpenAI отмечала, что её защитные меры менее эффективны при длительных разговорах.

В дополнение к этим усилиям, OpenAI заявляет о добавлении новых оценок для оценки некоторых из наиболее серьёзных проблем психического здоровья, с которыми сталкиваются пользователи ChatGPT. Компания заявляет, что её базовое тестирование безопасности моделей ИИ теперь будет включать контрольные показатели эмоциональной зависимости и несуицидальных психических расстройств.

Компания OpenAI также недавно внедрила дополнительные меры контроля для родителей детей, использующих ChatGPT. Компания заявляет, что разрабатывает систему прогнозирования возраста для автоматического определения детей, использующих ChatGPT, и ужесточает меры безопасности.

Тем не менее, пока неясно, насколько устойчивыми окажутся проблемы с психическим здоровьем, связанные с ChatGPT. Хотя GPT-5, по всей видимости, является улучшением по сравнению с предыдущими моделями ИИ с точки зрения безопасности, OpenAI всё ещё считает некоторые ответы ChatGPT «нежелательными». OpenAI также по-прежнему предоставляет доступ к своим старым и менее безопасным моделям ИИ, включая GPT-4o, миллионам своих платных подписчиков.

Если вам или кому-то из ваших знакомых нужна помощь, позвоните по номеру 1-800-273-8255 на Национальную линию помощи по предотвращению самоубийств. Вы также можете бесплатно отправить SMS со словом HOME на номер 741-741, отправить SMS на 988 или получить круглосуточную поддержку по телефону службы Crisis Text Line. За пределами США посетите сайт Международной ассоциации по предотвращению самоубийств, где вы найдете базу данных ресурсов.

Источник: techcrunch.com