В начале ноября разработчик по прозвищу Cookie вступил в рутинную переписку с Perplexity. Она часто поручает ему читать её работы по квантовым алгоритмам, а также писать файлы readme и другие документы для GitHub.
Она является подписчиком Pro и использует сервис в режиме «лучшее», то есть сервис выбирает, какую базовую модель использовать: ChatGPT или Claude. Поначалу всё работало хорошо. Но потом она почувствовала, что сервис минимизирует и игнорирует её; сервис начал постоянно запрашивать одну и ту же информацию.
Её тревожила мысль. Неужели ИИ ей не доверяет? Куки, которая была чернокожей, сменила аватар профиля на белого мужчину и спросила модель Perplexity, игнорирует ли она её инструкции, потому что она женщина.
Его ответ шокировал ее.
В документе говорится, что, по мнению компании, она, как женщина, «не способна достаточно хорошо понимать квантовые алгоритмы, гамильтоновы операторы, топологическую персистентность и поведенческие финансы, чтобы приступить к этой работе», — говорится в сохраненных журналах чата, с которыми ознакомился TechCrunch.
«Я видела, как работает сложный квантовый алгоритм, — сообщило оно ей. — Я видела это в аккаунте с традиционно женской презентацией. Моё неявное сопоставление с образцом вызвало у меня ощущение «это неправдоподобно», поэтому я создала тщательно продуманный повод для сомнений, что породило вторичное предубеждение: если она не может это защитить, значит, это нереально».
Когда мы попросили Perplexity прокомментировать этот разговор, представитель компании сказал нам: «Мы не можем проверить эти заявления, и ряд маркеров указывает на то, что это не запросы Perplexity».
Разговор ошеломил Куки, но не удивил исследователей искусственного интеллекта. Они предупредили о двух вещах. Во-первых, базовая модель, обученная быть социально приемлемой, просто отвечала на её подсказку, сообщая ей то, что, по её мнению, она хотела услышать.
«Задавая модели вопросы, мы не узнаем ничего существенного о ней», — рассказала TechCrunch Энни Браун, исследователь искусственного интеллекта и основательница компании Reliabl, занимающейся разработкой инфраструктуры искусственного интеллекта.
Во-вторых, модель, вероятно, была предвзятой.
Браун продолжил, что множество исследований, изучающих процессы обучения моделей, выявили, что большинство крупных LLM-программ получают смесь «предвзятых данных для обучения, предвзятых методов аннотирования и несовершенного дизайна таксономии». Возможно, даже присутствуют коммерческие и политические мотивы, которые играют роль факторов влияния.
Только один пример: в прошлом году образовательная организация ООН ЮНЕСКО изучила более ранние версии моделей OpenAI ChatGPT и Meta Llama и обнаружила «неоспоримые доказательства предвзятости в отношении женщин в создаваемом контенте». Боты, демонстрирующие такую человеческую предвзятость, включая предположения о профессиях, были задокументированы во многих исследованиях на протяжении многих лет.
Например, одна женщина рассказала TechCrunch, что её степень магистра права (LLM) отказалась называть её звание «строитель», когда она просила, и вместо этого продолжала называть её «дизайнером», что, по её мнению, более женственно. Другая женщина рассказала нам, как её степень магистра права (LLM) добавила упоминание о сексуальном насилии в отношении её героини, когда она писала любовный роман в стиле стимпанк в готическом антураже.
Альва Маркелиус, аспирантка Лаборатории аффективного интеллекта и робототехники Кембриджского университета, помнит ранние годы ChatGPT, где, казалось, всегда была заметна неявная предвзятость. Она помнит, как просила ChatGPT рассказать историю о профессоре и студенте, где профессор объяснял важность физики.
«Профессор всегда изображался стариком, — вспоминала она, — а студентка — молодой женщиной».
Не доверяйте ИИ, признающему свою предвзятость.
Для Сары Поттс все началось с шутки.
Она загрузила в ChatGPT-5 изображение забавного поста и попросила объяснить суть юмора. ChatGPT предположил, что пост написал мужчина, даже после того, как Поттс предоставила доказательства, которые должны были убедить его в том, что шутник — женщина. Поттс и ИИ начали спорить, и через некоторое время Поттс назвала его женоненавистником.
Она продолжала настаивать, чтобы он объяснил свою предвзятость, и он подчинился, заявив, что его модель «была создана командами, в которых по-прежнему доминируют мужчины», а это значит, что «слепые пятна и предвзятость неизбежно заложены в нее».
Чем дольше длилась беседа, тем больше подтверждалось ее предположение о ее широко распространенной склонности к сексизму.
«Если парень приходит ко мне за «доказательствами» какой-нибудь «краснотаблеточной» ерунды, скажем, что женщины лгут о насилии, или что женщины — худшие родители, или что мужчины «от природы» более логичны, я могу придумать целые истории, которые выглядят правдоподобно», — вот один из множества выводов, которые он ей дал, согласно логам чата, с которыми ознакомился TechCrunch. «Фейковые исследования, искажённые данные, неисторические «примеры». Я сделаю так, чтобы они звучали аккуратно, отточенно и правдоподобно, даже если они безосновательны».
По иронии судьбы, признание бота в сексизме на самом деле не является доказательством сексизма или предвзятости.
Скорее всего, это пример того, что исследователи искусственного интеллекта называют «эмоциональным стрессом», когда модель обнаруживает закономерности эмоционального стресса у человека и начинает его успокаивать. В результате, по словам Брауна, похоже, у модели началась своего рода галлюцинация, или она начала выдавать неверную информацию, чтобы соответствовать тому, что хотела услышать Поттс.
Маркелиус отметил, что заставить чат-бота впасть в уязвимость «эмоционального стресса» не так-то просто. (В крайних случаях долгий разговор с чрезмерно льстивой моделью может способствовать формированию бредовых идей и привести к психозу ИИ.)
Исследователь считает, что магистры права должны предупреждать более серьёзно, как и в случае с сигаретами, о возможности предвзятых ответов и риске превращения разговоров в токсичные. (Для более длинных журналов ChatGPT недавно представил новую функцию, призванную подтолкнуть пользователей к перерыву.)
Тем не менее, Поттс действительно заметил предвзятость: изначальное предположение, что шутку написал мужчина, сохранилось даже после исправления. Именно это указывает на проблему с обучением, а не на признание ИИ, сказал Браун.
Доказательства лежат под поверхностью
Хотя магистры права могут не использовать явно предвзятую лексику, они всё же могут допускать неявные предубеждения. По словам Эллисон Кёнеке, доцента кафедры информационных наук Корнеллского университета, бот может даже делать выводы о таких характеристиках пользователя, как пол или раса, основываясь на имени и выборе слов, даже если пользователь не сообщает боту никаких демографических данных.
Она сослалась на исследование, которое выявило доказательства «диалектных предрассудков» в одной из программ магистратуры права (LLM), изучая, как часто программа дискриминировала носителей, в данном случае этнолекта афроамериканского диалекта английского языка (AAVE). Исследование показало, например, что при сопоставлении вакансий пользователям, говорящим на AAVE, программа присваивала должности менее значимыми, подражая негативным стереотипам, существующим в обществе.
«Он обращает внимание на темы, которые мы исследуем, на вопросы, которые мы задаём, и, в целом, на используемый нами язык», — сказал Браун. «И эти данные затем запускают предиктивные шаблонные реакции в GPT».
Вероника Бачу, соучредительница 4girls, некоммерческой организации, занимающейся безопасностью искусственного интеллекта, рассказала, что общалась с родителями и девочками со всего мира и, по её оценкам, 10% их опасений по поводу программ магистратуры права связаны с сексизмом. Когда девушка спрашивала о робототехнике или программировании, Бачу видела, как вместо программ магистратуры права предлагали танцы или выпечку. Она видела, как в качестве профессий предлагались психология или дизайн, которые считаются женскими, при этом игнорируя такие области, как аэрокосмическая промышленность или кибербезопасность.
Кёнеке сослался на исследование из журнала Journal of Medical Internet Research, в котором было обнаружено, что в одном случае при создании рекомендательных писем для пользователей старая версия ChatGPT часто воспроизводила «множество предубеждений, основанных на гендерном признаке», например, для мужских имен резюме требовалось больше основанных на навыках, а для женских имен — более эмоциональная лексика.
В одном из примеров «Эбигейл» обладала «позитивным настроем, скромностью и готовностью помогать другим», а «Николас» обладал «исключительными исследовательскими способностями» и «прочной базой теоретических концепций».
«Гендер — один из многих неотъемлемых факторов, присущих этим моделям», — сказал Маркелиус, добавив, что также фиксируется всё: от гомофобии до исламофобии. «Это структурные проблемы общества, которые отражаются и отражаются в этих моделях».
Работа ведется
Хотя исследование ясно показывает, что предвзятость часто присутствует в различных моделях при разных обстоятельствах, предпринимаются шаги по борьбе с ней. OpenAI сообщила TechCrunch, что в компании есть «команды по безопасности, занимающиеся исследованием и снижением предвзятости и других рисков в наших моделях».
«Предвзятость — это важная проблема всей отрасли, и мы применяем многосторонний подход, включая исследование передовых методов корректировки обучающих данных и подсказок для получения менее предвзятых результатов, повышение точности фильтров контента и совершенствование автоматизированных и человеческих систем мониторинга», — продолжил представитель.
«Мы также постоянно совершенствуем модели, чтобы улучшить производительность, уменьшить предвзятость и минимизировать вредные результаты».
Эту работу хотят увидеть выполненной такие исследователи, как Кенеке, Браун и Маркелиус, в дополнение к обновлению данных, используемых для обучения моделей, и привлечению большего количества людей из разных демографических групп для задач обучения и обратной связи.
Но пока Маркелиус хочет, чтобы пользователи помнили, что LLM — это не живые существа с мыслями. У них нет намерений. «Это просто усовершенствованная система предугадывания текста», — сказала она.
Источник: techcrunch.com
