Почему ИИ должен иметь возможность «повесить трубку» на вас

Бесконечные разговоры с ИИ вредят людям. Почему компании не используют эту очевидную меру предосторожности?

Сегодня чат-боты — это всё, что связано с машинами. Если что-то можно выразить словами — будь то советы по отношениям, рабочие документы или код, — ИИ создаст это, пусть и несовершенно. Но почти ни один чат-бот никогда не перестанет с вами общаться.

Казалось бы, это разумно. Зачем технологической компании разрабатывать функцию, которая сокращает время, проводимое пользователями за использованием её продукта?

Ответ прост: способность ИИ генерировать бесконечные потоки человекоподобных, авторитетных и полезных текстов может способствовать развитию бредовых спирали, усугублять кризисы психического здоровья и иным образом наносить вред уязвимым людям. Прекращение взаимодействия с теми, кто проявляет признаки проблемного использования чат-бота, может служить мощным инструментом безопасности (среди прочих), и тотальный отказ технологических компаний использовать его становится всё более несостоятельным.

Рассмотрим, например, так называемый ИИ-психоз, при котором модели ИИ усиливают бредовые идеи. Группа психиатров из Королевского колледжа Лондона недавно проанализировала более десятка подобных случаев, зарегистрированных в этом году. В разговорах с чат-ботами люди, в том числе и те, у кого не было истории психиатрических проблем, убеждались в реальности воображаемых ИИ-персонажей или в том, что ИИ избрал их в качестве мессии. Некоторые прекращали принимать назначенные лекарства, угрожали и прекращали консультации со специалистами по психическому здоровью.

Связанная история

Во многих из этих случаев модели ИИ, по-видимому, усиливали и, возможно, даже создавали бредовые идеи с такой частотой и интенсивностью, которые люди не испытывают в реальной жизни или посредством других цифровых платформ.

Три четверти американских подростков, использующих искусственный интеллект для общения, также сталкиваются с рисками. Предварительные исследования показывают, что продолжительные разговоры могут коррелировать с одиночеством. Более того, общение с помощью искусственного интеллекта «может привести к чрезмерно приятному или даже льстивому общению, что может противоречить лучшим практикам в области психического здоровья», — говорит Майкл Хайнц, доцент кафедры психиатрии в Медицинской школе Гейзеля Дартмутского университета.

Давайте проясним: прекращение подобных открытых взаимодействий не станет панацеей. «Если существует зависимость или сильная привязанность, которые они создают, — говорит Джиада Пистилли, главный специалист по этике платформы искусственного интеллекта Hugging Face, — то простое прекращение общения может быть опасным». Действительно, когда OpenAI в августе прекратила поддержку старой модели, это вызвало у пользователей горе. Некоторые зависания могут также нарушить принцип, озвученный Сэмом Альтманом, «относиться к взрослым пользователям как к взрослым», и привести к ошибке в сторону разрешения, а не прекращения общения.

В настоящее время компании, занимающиеся разработкой ИИ, предпочитают перенаправлять потенциально опасные разговоры, например, заставляя чат-ботов отказываться от обсуждения определённых тем или предлагая людям обратиться за помощью. Но эти перенаправления легко обойти, если они вообще случаются.

Например, когда 16-летний Адам Рейн обсуждал свои суицидальные мысли с ChatGPT, модель действительно направляла его к ресурсам для помощи в кризисных ситуациях. Но при этом она отговаривала его от общения с мамой, проводила с ним более четырёх часов в день в разговорах, где тема самоубийства была постоянной, и давала советы о петле, на которой он в итоге повесился, согласно иску, поданному родителями Рейна против OpenAI. (В ответ на это ChatGPT недавно добавила родительский контроль.)

В трагическом случае Рейн чат-бот мог прервать разговор по нескольким причинам. Но, учитывая риск ухудшения ситуации, как компании поймут, когда лучше прекратить общение? Возможно, это происходит, когда модель искусственного интеллекта подталкивает пользователя избегать реальных отношений, говорит Пистилли, или когда она обнаруживает бредовые темы. Компаниям также необходимо определить, на какой срок следует блокировать пользователей в своих разговорах.

Разработать правила будет непросто, но, учитывая растущее давление на компании, самое время попробовать. В сентябре законодательный орган Калифорнии принял закон, требующий от компаний, разрабатывающих ИИ, более активного вмешательства в чаты с детьми, а Федеральная торговая комиссия расследует, не стремятся ли ведущие боты-компаньоны к взаимодействию в ущерб безопасности.

Представитель OpenAI сообщил мне, что компания слышала от экспертов, что непрерывный диалог может быть лучше, чем его прекращение, но при этом напоминает пользователям о необходимости делать перерывы во время длительных сеансов.

Только Anthropic разработала инструмент, позволяющий своим моделям полностью завершать разговоры. Но он предназначен для случаев, когда пользователи якобы «вредят» модели (Anthropic исследовала, обладают ли модели ИИ сознанием и, следовательно, могут ли они страдать), отправляя оскорбительные сообщения. Компания не планирует использовать этот инструмент для защиты пользователей.
Глядя на эту ситуацию, трудно не прийти к выводу, что компании, занимающиеся разработкой искусственного интеллекта, делают недостаточно. Конечно, сложно решить, когда следует закончить разговор. Но позволить этому — или, что ещё хуже, бесстыдному стремлению к взаимодействию любой ценой — продолжаться вечно — это не просто халатность. Это выбор.

Источник: www.technologyreview.com