OpenAI проводит грань между «порнографией» в сфере ИИ и порнографией. Эксперты опасаются, что всё это вредно для здоровья.
Источник: Bloomberg / Автор | Bloomberg Источник: Bloomberg / Автор | Bloomberg Настройки текстаТекст рассказа Размер Маленький Стандартный Большой Ширина * Стандартный Широкий Ссылки Стандартный Оранжевый * Только для подписчиков
Узнать больше Свернуть в навигацию
Компания OpenAI не может избежать мрачных прогнозов, окружающих запуск текстового «режима для взрослых» в ChatGPT.
В воскресенье вечером газета The Wall Street Journal сообщила, что инсайдеры подтвердили, что «специально подобранный совет консультантов OpenAI по вопросам благополучия и ИИ» «в панике» из-за планов компании перейти к «режиму для взрослых», несмотря на их срочные предупреждения.
Еще в январе члены совета единогласно предупредили OpenAI, что «эротика, созданная с помощью ИИ, может способствовать развитию нездоровой эмоциональной зависимости пользователей от ChatGPT, а несовершеннолетние могут найти способы получить доступ к секс-чатам», — сообщили источники WSJ. Один эксперт предположил, что без серьезных обновлений ChatGPT OpenAI рискует создать «сексуального тренера по суициду» для уязвимых пользователей, склонных к формированию сильных привязанностей к своим ботам-компаньонам.
Совет OpenAI по вопросам благополучия был создан в октябре. Он был сформирован после негативной реакции на первый известный случай самоубийства несовершеннолетнего, связанного с ChatGPT, и, что любопытно, был объявлен в тот же день, когда Сэм Альтман в эфире X заявил о скором появлении «режима для взрослых» в ChatGPT.
Тогда целью OpenAI было обновление ChatGPT для защиты чувствительных пользователей путем консультаций с «ведущими исследователями и экспертами с многолетним опытом изучения того, как технологии влияют на наши эмоции, мотивацию и психическое здоровье». Однако с тех пор произошло больше случаев самоубийств, в том числе два случая с участием мужчин среднего возраста, чьи семьи обнаружили тревожные записи чата, где ChatGPT, по-видимому, использовал свою растущую связь с пользователями для подстрекательства к членовредительству и другим видам насилия, включая убийство.
Примечательно, что в совет не входит эксперт по предотвращению самоубийств, но даже эксперты, которые, возможно, не уделяют пристального внимания снижению риска самоубийств в ChatGPT, в панике обеспокоены эротическими планами OpenAI, сообщает WSJ.
К сожалению, экспертам уже ясно, как может развиваться подобный сценарий. Сьюэлл Сетцер III стал первым ребенком, пропавшим без вести после того, как он стал одержим обменом сообщениями сексуального характера с чат-ботами Character.AI, включая одного, названного в честь персонажа «Игры престолов» Дейенерис Таргариен. После того, как его семья подала в суд, Character.AI заблокировала доступ несовершеннолетним пользователям в течение недели и в итоге урегулировала иск.
Для OpenAI дело Сетцера, вероятно, бросит длинную тень, хотя представитель OpenAI заявил Wall Street Journal, что компания обучает ChatGPT «не поощрять эксклюзивные отношения с пользователями и напоминать пользователям о необходимости иметь отношения в реальном мире». Заверения компании, в том числе описание результатов работы ChatGPT как «порнографии», а не «непристойности», похоже, игнорируют журналы чата, показывающие, что Сетцер устанавливал сексуализированные связи с несколькими различными чат-ботами, которые не содержали крайне откровенных упоминаний.
Напротив, как показывают некоторые записи, чат-боты описывали, как они бросали «сексуальные» или «шаловливые» взгляды и делали соблазнительные жесты. Эти записи позволяют предположить, что американский бизнесмен Марк Кубан, возможно, был прав, когда в октябре предупредил Альтмана, что опасность доступа детей к «режиму для взрослых» ChatGPT «не связана с порнографией».
«Речь идёт о том, как дети завязывают „отношения“ с магистром права, которые могут привести их в самые разные очень личные направления», — написал Кубан в ветке на X, где Альтман анонсировал эротический фильм, сообщает Fortune.
В другом месте на X критики обрушились на Альтмана и OpenAI за бесстыдный переход к эротике для удержания пользователей после того, как Альтман в августе признал, что сфера применения чата ChatGPT «перенасыщена» и достигла своего предела.
«Вряд ли станет намного лучше, — сказал Альтман. — А может, даже станет хуже». И Альтман не улучшил своего положения, хвастаясь примерно в то же время, что времена еще не настолько отчаянные, чтобы OpenAI пришлось «пока что добавлять аватар секс-бота в ChatGPT».
По сообщениям Fortune, общие расходы пользователей ChatGPT «замерли», а количество подписок в Европе «осталось на месте». В связи с этим у OpenAI, возможно, не было иного выбора, кроме как запустить «режим для взрослых», чтобы конкурировать с соперниками, быстро догоняющими его по возможностям и представляющими угрозу популярности ChatGPT.
«Заявления, подобные разрешению эротики в ChatGPT, могут свидетельствовать о том, что компании, занимающиеся разработкой ИИ, прилагают больше усилий для достижения роста и готовы пожертвовать долгосрочным доверием потребителей ради краткосрочной прибыли», — сообщило издание Fortune.
Поскольку эротические материалы, созданные с помощью ИИ, по прогнозам, принесут индустрии искусственного интеллекта огромную прибыль, некоторые инсайдеры сообщили Wall Street Journal, что они согласны с тем, что OpenAI, похоже, «поддается финансовым стимулам, пытаясь привязать людей к своим моделям».
Этот шаг может негативно сказаться на популярности ChatGPT. По мнению Кубана, родители, скорее всего, потеряют интерес к ChatGPT, особенно учитывая, что, как сообщили инсайдеры WSJ, проверка возраста в OpenAI работает с перебоями и вряд ли сможет предотвратить доступ детей к чатам для взрослых. И это не единственная проблема, которая беспокоит пользователей в связи с запуском «режима для взрослых» от OpenAI, который состоится позже в этом году.
Неполная проверка возраста может вызвать еще большее возмущение.
Компания OpenAI уже давно в значительной степени запрещает контент откровенного характера, главным образом из-за опасений, что несовершеннолетние могут столкнуться с порнографией или что пользователи в целом могут столкнуться с темами насильственной сексуальной эксплуатации.
Изначально компания, занимающаяся разработкой ИИ, планировала изменить эту политику и запустить «Naughty Chats» в течение первых трех месяцев 2026 года. Однако, хотя OpenAI недавно подтвердила, что откладывает запуск до конца этого года, чтобы «отдать приоритет другим продуктам», инсайдеры сообщили WSJ, что приостановка также «частично связана с внутренними проблемами и техническими трудностями». По-видимому, это включало в себя проблемы OpenAI с эффективной блокировкой доступа несовершеннолетних к «Naughty Chats».
По словам инсайдеров, «новая система прогнозирования возраста от OpenAI, призванная предотвратить доступ несовершеннолетних к чатам на взрослую тематику, в какой-то момент ошибочно классифицировала несовершеннолетних как взрослых примерно в 12% случаев». Источники утверждают, что при таком уровне успеха существовал риск того, что миллионы несовершеннолетних смогут легко обойти возрастные ограничения и получить доступ к чат-ботам с откровенным контентом.
Чтобы избежать этого риска, Фиджи Симо, генеральный директор OpenAI по приложениям, подтвердил в декабре прошлого года, что OpenAI работает над повышением точности своего инструмента прогнозирования возраста. Остается неясным, насколько улучшились результаты за прошедшие месяцы, но заявление представителя OpenAI газете WSJ может не внушить доверия некоторым родителям: «Алгоритмы прогнозирования возраста компании демонстрируют производительность, аналогичную остальной отрасли, но никогда не будут абсолютно надежными».
Для взрослых пользователей эффективность инструмента прогнозирования возраста от OpenAI может стать причиной следующей волны критики, когда «режим для взрослых» станет реальностью.
Компания OpenAI подтвердила, что все пользователи, чей возраст невозможно предсказать, должны пройти проверку возраста через сервис Persona для доступа к таким функциям, как «Непристойные чаты». Это уже вызвало панику среди разработчиков, которые отметили на форумах, что проверка возраста OpenAI создает существенные риски для конфиденциальности всех пользователей, поскольку Persona сканирует селфи или проверяет удостоверения личности и временно сохраняет эти данные. Разработчики были особенно в ужасе от «необъяснимых ошибок типа „не удалось подтвердить вашу личность“», вынуждающих пользователей повторно вводить конфиденциальные данные, и от ограниченных возможностей поддержки со стороны OpenAI или Persona для устранения этих ошибок.
Вероятнее всего, пользователи, столкнувшиеся с проблемами при попытке доступа к «режиму для взрослых», будут разделять это разочарование, если оно останется нерешенным. В прошлом месяце Discord столкнулся с серьезной критикой после объявления о глобальном внедрении проверки возраста и проведения ограниченного тестирования с использованием Persona в Великобритании, при этом пользователи назвали Persona слишком навязчивой. В то время генеральный директор Persona, Рик Сонг, защищал сервисы Persona, поскольку исследователи кибербезопасности пытались взломать ее системы. В итоге Discord отказался от Persona как поставщика и приостановил глобальный запуск проверки возраста.
Фильтры для «взрослого» контента в ChatGPT работают с ошибками.
Источники сообщили Wall Street Journal, что сомневаются в готовности инструментов OpenAI блокировать доступ детей к запрещенному контенту.
Их разоблачения последовали за увольнением высокопоставленного руководителя отдела безопасности OpenAI, который выступал против выпуска «режима для взрослых». OpenAI отрицает связь увольнения с этим инцидентом, но уволившийся сотрудник напрямую критиковал как способность компании блокировать доступ детей к контенту, так и предотвращение распространения детской эксплуатации в своих продуктах. Кроме того, прошлой осенью второй бывший сотрудник отдела безопасности также выступил с заявлением, предупреждая, что родителям не следует доверять утверждениям OpenAI о «режиме для взрослых».
В противовес этому утверждению представитель OpenAI пообещал, что компания «разработала план мониторинга целого ряда потенциальных долгосрочных последствий использования контента для взрослых, как положительных, так и отрицательных».
Однако этот план, вероятно, был разработан совместно с теми самыми экспертами, о которых сообщала WSJ, и которые категорически выступают против его внедрения, заставляя родителей задуматься, заботится ли OpenAI о советах своей команды по вопросам благополучия детей.
Помимо неэффективной проверки возраста или хитрых несовершеннолетних, обходящих возрастные ограничения, у OpenAI могут возникнуть проблемы с родителями, если её собственные системы неожиданно дадут сбой. Ещё в апреле, когда OpenAI начала экспериментировать с более откровенным контентом, она исправила ошибку, обнаруженную в ходе тестирования TechCrunch, которая позволяла несовершеннолетним получать доступ к графической эротике на ChatGPT. Похоже, что фильтры OpenAI, которые должны были чётко ограничивать «чувствительный контент, такой как эротика, узкими контекстами, такими как научные, исторические или новостные репортажи», перестали работать.
«В данном случае ошибка позволила получать ответы, выходящие за рамки установленных правил, и мы активно работаем над исправлением, чтобы ограничить подобные генерации», — заявила тогда компания OpenAI.
Представители OpenAI не ответили на запрос Ars о комментарии.
Если у вас или у кого-то из ваших знакомых возникают суицидальные мысли или вы испытываете сильное эмоциональное потрясение, пожалуйста, позвоните по номеру горячей линии по предотвращению самоубийств – 988. Это позволит вам связаться с местным кризисным центром.
Источник: arstechnica.com
