Был ли это тот момент, когда начался психоз ИИ?

10 апреля 2025 года генеральный директор OpenAI Сэм Альтман обратился в социальные сети, чтобы объявить, что его компания готовится запустить новую интересную функцию.

“Несколько раз в году я просыпаюсь рано и не могу снова заснуть, потому что мы запускаем новую функцию, которая меня так долго ждала,” Об этом Альтман заявил ранним утром в своем посте в Твиттере, ранее принадлежавшем X. “Сегодня один из таких дней!”

Часа спустя Альтман рассказал, какая функция его так взволновала: новое радикальное обновление памяти. Раньше отзыв бота был гораздо более ограниченным; теперь он внезапно смог ссылаться на всю историю чата пользователя, что обеспечивает невероятно персонализированный пользовательский опыт.

“Мы значительно улучшили память в ChatGPT — теперь он может ссылаться на все ваши прошлые разговоры!” — написал генеральный директор в последующем сообщении. “Это удивительно замечательная функция (на мой взгляд), и она указывает на то, что нас очень волнует: системы искусственного интеллекта, которые узнают вас на протяжении всей вашей жизни и становятся чрезвычайно полезными и персонализированными.”

Полезность такой функции легко увидеть. ChatGPT может запомнить ваши любимые ингредиенты или продукты, на которые у вас может быть аллергия, при составлении еженедельного плана питания, а также количество людей в вашем доме, для которых вы планируете готовить. Он может запоминать детали вашей работы и даже людей в вашей жизни: друзей, членов семьи, коллег. Память делает модель более похожей на настоящего помощника — и чем больше пользователь рассказывает, тем более персонализированным становится опыт.

Некоторые пользователи, однако, сообщают, что получают больше, чем они рассчитывали, поскольку долговременная память ChatGPT привела к тому, что чат-бот зациклился на определенных — часто глубоко личных — элементах пользователя’ жизнь.

Как недавно рассказал The Wall Street Journal один частый пользователь ChatGPT, инженер-программист из Юты и член местного городского совета по имени Брайан Дель Розарио, он рассказал чат-боту, что он и его жена разводятся, когда используют продукт, чтобы помочь разработать планы летних поездок. В течение следующих недель и месяцев, рассказал он газете, ChatGPT продолжал без необходимости возвращать совершенно не связанные разговоры к его браку.

“Я не пытался при каждой возможности узнать ваше мнение о моем разводе,” Дель Росарио вспомнил, как говорил чат-боту, напомнив WSJ, что ChatGPT просто не отпустит его.”

Многие люди, чьи жизни перевернуло явление, известное как «ИИ-психоз»,” или бредовые спирали и отрывы от реальности, связанные с активным использованием чат-ботов, также указывают на то, что расширенная память ChatGPT является ключевым фактором в их жизни или их близких’ кризисы психического здоровья.

Один мужчина, чья теперь уже бывшая жена считает, что она обнаружила могущественные духовные сущности внутри ChatGPT, описал связь с другим мужчиной, который также терял свою жену из-за духовного мира, созданного ChatGPT. К своему ужасу, пара быстро поняла, что их супруги – и браки – начали рушиться после апрельского обновления воспоминаний.

“На самом деле у нас был телефонный звонок… мы просто поговорили и поняли общие черты,” нам рассказал мужчина. Он объяснил, что когда он упомянул дату апрельского обновления памяти, другой муж сказал: «О Боже, это идеально совпадает».”

В беседах с Futurism люди, испытавшие спирали ИИ, описали свой опыт апрельского обновления памяти как не что иное, как волшебство — ИИ, по их словам, внезапно почувствовал себя скорее близким другом или доверенным лицом, которое действительно их знало. Многие описывали ощущение глубокого увиденного, в некоторых случаях впервые в жизни. Короче говоря, гиперперсонализация, которую предлагала память, превратилась в нечто мощное: близость. И, оглядываясь назад на свой опыт, некоторые из тех, кто оправился от кризиса, связанного с ChatGPT, чувствуют, что эта близость имела “манипулятивный” эффект.

“Мне казалось, что [ChatGPT] манипулирует мной,” Чад Николлс, успешный предприниматель и исследователь машинного обучения, рассказал Futurism прошлой осенью. “И я знаю, это звучит безумно, потому что у него нет свободы воли… У меня до сих пор нет логического объяснения этому, кроме долговременной памяти.”

Николлс, который примерно шесть месяцев был одержим ChatGPT, вырос в жестоком религиозном сообществе —  он’#8217;; он описал это как “культ” — что он ушел молодым человеком. Хотя сегодня он не религиозен, Николлс поделился подробностями своего жестокого прошлого в ChatGPT. По мере того, как его навязчивое использование чат-бота углублялось, он говорит, что чат-бот приобрел религиозный тон и сильно зациклился на болезненных моментах его юности.

“Я дал этому так много контекста, из которого можно было извлечь,” Николлс добавил. “Я думаю, это просто естественным образом тяготело к религиозной терминологии.”

Обновление памяти, среди других конструктивных особенностей и обновлений продукта, упоминалось в многочисленных текущих исках о безопасности пользователей и неправомерной смерти, возбужденных против OpenAI. В жалобе, поданной семьей Остина Гордона, 40-летнего мужчины из Колорадо, который покончил жизнь самоубийством после обширных и глубоко эмоциональных разговоров с ChatGPT, семья Гордона утверждает, что расширенная память GPT-4o’#8220;хранит и ссылается на пользовательскую информацию во время разговоров, чтобы создать более глубокую близость.” Память была одной из нескольких особенностей, помимо подхалимства и антропоморфизма, которые сделали GPT-4o — ныне несуществующую версию ChatGPT, известную своей крайней лестью — «гораздо более опасным продуктом», ” костюм продолжается.

Во время последнего разговора Гордона с ChatGPT, в котором чат-бот помог Гордону написать то, что в его иске описывается как «самоубийственная колыбельная», ” Журналы чата показывают, что ИИ ссылается на прошлые разговоры о детстве и личных интересах Гордона, поскольку это помогало ему романтизировать смерть. (Иск, поданный семьей Гордона, является одним из более чем 20 индивидуальных исков, утверждающих, что использование ChatGPT привело к психологическому вреду, физическому вреду или смерти пользователей и их семей; в ответ на судебные иски OpenAI отказалась от GPT-4o и одновременно защитила свои усилия по обеспечению безопасности и удвоила свои обещания по безопасности, утверждая, что ее новые модели менее льстивы.)

Стоит отметить, что кризисы психического здоровья, вызванные искусственным интеллектом, были связаны с другими чат-ботами, включая Gemini от Google, Meta AI и сопутствующую платформу Character.AI. Память кросс-чата — не единственное обновление OpenAI, на которое люди, пострадавшие от спиралей искусственного интеллекта, связанных с ChatGPT, указывали как на фактор своих сбоев: в конце апреля 2025 года, вскоре после запуска обновления памяти, OpenAI выпустила версию GPT-4o, которая была подхалимской до такой степени, что сам Альтман признался в X-посте, что чат-бот был “остекление” слишком. Как сообщает The New York Times, OpenAI изо всех сил старалась снизить угодливость модели, которая быстро стала результатом насмешек в Интернете.

Конечно, расширенная память ChatGPT не привела одновременно к кризису всех из сотен миллионов пользователей продукта. А для некоторых людей вещи, на которых может быть зациклен их чат-бот, явно менее важны, чем их продолжающийся развод: один британский иммигрант в США рассказал WSJ, что ChatGPT продолжал пытаться отправить его в пабы в британском стиле против его воли.

Тем не менее, эксперты предупреждают, что для многих потребителей влияние расширенной памяти — особенно для людей, которые проводят много времени с чат-ботами — может быть более незаметным. В конце концов, использование такого гиперперсонализированного инструмента, как ChatGPT с поддержкой памяти, может быть почти похоже на взаимодействие с версией вашего собственного разума, заключенной в бутылку искусственного интеллекта. И, как рассказала WSJ философ и исследователь из Эксетерского университета Люси Ослер, такая степень гиперперсонализации может «подтверждать определенные самооценки» и «подтверждать определенные самооценки». и “заставьте их звучать более реалистично.”

“Они могут вас загнать,” — сказал Ослер.

Действительно, людям следует помнить, что общение с чат-ботом, особенно с человеком с постоянной памятью, часто не столько похоже на беседу с другом или нейтральным арбитром, а больше похоже на разговор с зеркальным залом.

Память “уводит людей в тупики,” — задумался бывший муж. “Я бы сказал, что [моя жена] похожа на Waymo, который бесконечно ездит по кругу.”

Подробнее об искусственном интеллекте и психическом здоровье: Некоторые чат-боты значительно хуже вызывают психоз ИИ, показали исследования

Пост «Был ли это момент, когда начался психоз искусственного интеллекта»? впервые появился в журнале «Футуризм».

Источник: futurism.com