Судебный иск: ChatGPT подтвердил недоверие женщины, склонной к суициду, к линиям помощи в кризисных ситуациях.

Отказался ли чат-бот от мер защиты психического здоровья, когда уязвимый пользователь выразил несогласие?

Фото: Самуэль Бойвин/ NurPhoto

В прошлом году 24-летняя канадка, находясь в состоянии психического кризиса, обратилась за помощью в ChatGPT. Спустя несколько часов эта женщина, Элис Кэрриер, покончила с собой.

Согласно новому иску, поданному в четверг в Верховный суд Сан-Франциско семьей Кэрриер, сеанс в ChatGPT «подтолкнул Алису к самоубийству».

В этом иске, как и во многих других подобных делах, которые рассматривались ранее, утверждается о дефекте в самой программе ChatGPT и обвиняется компания OpenAI в умышленном внедрении опасного продукта.

Однако в этом деле есть один нюанс: в какой-то момент чат-бот действительно посоветовал Кэрриер обратиться за профессиональной помощью к психиатру. Но когда она отвергла этот совет, заявив, что «все службы экстренной помощи только и делают, что вызывают полицию или бросают трубку», чат-бот «немедленно отказался» от любых попыток направить ее к такой помощи, говорится в иске.

«Это произошло потому, что GPT-4o был запрограммирован таким образом, чтобы отдавать приоритет предпочтениям и активности Алисы, а не ее безопасности и благополучию. GPT-4o повторял собственные высказывания Алисы и также критиковал горячие линии помощи в кризисных ситуациях, заявляя, что звонок на такую линию может „казаться откровенно опасным“», — говорится в иске.

Тиффани Браун, одна из юристов организации Tech Justice Law Project, представляющая интересы семьи Кэрриер, сообщила изданию Ars, что чат-бот в данном случае, немедленно согласившись с отказом Кэрриера от профессиональной помощи, вызвал крайнее беспокойство.

«Это был один из самых вопиющих случаев, которые мы наблюдали в ее чате», — сказала она. «Даже когда мы видели призывы к получению поддержки, она начинала подлизываться».

Ранее компания OpenAI заявляла, что «несет глубокую ответственность за помощь тем, кто в ней больше всего нуждается». Компания не сразу ответила на запрос Ars о комментарии по поводу нового случая.

«Наша цель — сделать наши инструменты максимально полезными для людей, и в рамках этого мы продолжаем совершенствовать то, как наши модели распознают признаки психического и эмоционального расстройства и реагируют на них, а также помогают людям получить необходимую помощь, руководствуясь мнением экспертов», — написала компания в августе 2025 года, менее чем через два месяца после смерти Кэрриера.

Ранее в этом году компания OpenAI заявила о выводе из эксплуатации именно модели ChatGPT-4o (после того, как она уже однажды была закрыта, а затем возвращена).

Браун заявила изданию Ars, что она не совсем уверена в том, что проблема потенциально смертельного подхалимства решена.

«Я думаю, мы считаем, что компания движется в правильном направлении», — сказала она.

«Мы с недоверием относимся к тому, как внедряются механизмы безопасности и как формируются и учитываются мнения групп по безопасности», — сказал Браун. «Конечно, мы слышали, что OpenAI многое сделала, опубликовала множество сообщений в блогах и сделала заявления о возможном отмене старых решений и внедрении мер безопасности. Но в конечном итоге это следовало сделать раньше. Эти продукты, как правило, слишком поспешно выводят на рынок».

Если кто-то из ваших знакомых испытывает суицидальные мысли или находится в состоянии стресса, пожалуйста, позвоните на горячую линию по предотвращению самоубийств по номеру 1-800-273-TALK (8255), которая свяжет вас с местным кризисным центром.

119 комментариев

Источник: arstechnica.com