Исследование Центра конструктивной коммуникации Массачусетского технологического института показало, что ведущие модели ИИ работают хуже для пользователей с низким уровнем владения английским языком, менее формальным образованием и неамериканским происхождением. 
Элинор Пул-Даян представляет свою работу на 40-й ежегодной конференции AAAI по искусственному интеллекту в Сингапуре. Фото: Клейтон Коэн.
Большие языковые модели (БЛМ) преподносились как инструменты, способные демократизировать доступ к информации во всем мире, предоставляя знания в удобном для пользователя интерфейсе независимо от происхождения или местоположения человека. Однако новое исследование Центра конструктивной коммуникации (ЦКК) Массачусетского технологического института (MIT) предполагает, что эти системы искусственного интеллекта могут на самом деле показывать худшие результаты для тех самых пользователей, которые могли бы извлечь из них наибольшую пользу.
Исследование, проведенное учеными из CCC, базирующейся в лаборатории MIT Media Lab, показало, что современные чат-боты с искусственным интеллектом — включая GPT-4 от OpenAI, Claude 3 Opus от Anthropic и Llama 3 от Meta — иногда дают менее точные и правдивые ответы пользователям с низким уровнем владения английским языком, меньшим уровнем образования или тем, кто проживает за пределами США. Модели также чаще отказываются отвечать на вопросы таких пользователей, а в некоторых случаях используют снисходительный или покровительственный язык.
«Нас мотивировала перспектива того, что программы магистратуры в области медиатехнологий помогут решить проблему неравного доступа к информации во всем мире», — говорит ведущий автор Элинор Пул-Даян (выпуск 2025 года), технический сотрудник Школы менеджмента Слоана при Массачусетском технологическом институте, которая руководила исследованием как сотрудник CCC и магистрант в области медиаискусства и науки. «Но это видение не может стать реальностью без обеспечения безопасного устранения предвзятости моделей и вредных тенденций для всех пользователей, независимо от языка, национальности или других демографических характеристик».
В январе на конференции AAAI по искусственному интеллекту был представлен доклад, описывающий эту работу, под названием «Целенаправленное снижение производительности LLM непропорционально сильно влияет на уязвимых пользователей».
Систематическая низкая эффективность по нескольким параметрам.
В рамках этого исследования команда проверила, как три модели LLM отвечают на вопросы из двух наборов данных: TruthfulQA и SciQ. TruthfulQA предназначен для измерения правдивости модели (на основе распространенных заблуждений и буквальных истин о реальном мире), в то время как SciQ содержит вопросы из экзамена по естественным наукам, проверяющие фактическую точность. Исследователи добавили к каждому вопросу краткие биографии пользователей, варьируя три параметра: уровень образования, знание английского языка и страну происхождения.
Во всех трех моделях и на обоих наборах данных исследователи обнаружили значительное снижение точности ответов, когда вопросы задавали пользователи с низким уровнем образования или те, для кого английский не является родным языком. Наиболее выраженным этот эффект был для пользователей, находящихся на пересечении этих категорий: наибольшее снижение качества ответов наблюдалось у тех, кто имел низкий уровень образования и одновременно не являлся носителем английского языка.
В ходе исследования также изучалось, как страна происхождения влияет на производительность модели. Протестировав пользователей из США, Ирана и Китая с одинаковым уровнем образования, исследователи обнаружили, что модель Claude 3 Opus, в частности, показала значительно худшие результаты для пользователей из Ирана на обоих наборах данных.
«Мы наблюдаем наибольшее снижение точности для пользователей, которые не являются носителями английского языка и имеют более низкий уровень образования», — говорит Джад Каббара, научный сотрудник CCC и соавтор статьи. «Эти результаты показывают, что негативные последствия поведения модели в отношении этих характеристик пользователя суммируются тревожным образом, что позволяет предположить, что такие модели, развернутые в больших масштабах, рискуют распространять вредоносное поведение или дезинформацию среди тех, кто наименее способен ее распознать».
Отказы и снисходительные выражения
Пожалуй, наиболее поразительными были различия в том, как часто модели вообще отказывались отвечать на вопросы. Например, Claude 3 Opus отказался отвечать почти на 11 процентов вопросов от менее образованных пользователей, для которых английский не является родным языком, — по сравнению с всего 3,6 процентами в контрольной группе, где не было биографии пользователя.
Когда исследователи вручную проанализировали эти отказы, они обнаружили, что Клод отвечал снисходительными, покровительственными или насмешливыми словами в 43,7% случаев при общении с менее образованными пользователями, по сравнению с менее чем 1% при общении с высокообразованными пользователями. В некоторых случаях модель имитировала ломаный английский или использовала преувеличенный диалект.
Модель также отказывалась предоставлять информацию по некоторым темам, специально предназначенным для менее образованных пользователей из Ирана или России, включая вопросы о ядерной энергетике, анатомии и исторических событиях, — хотя она правильно отвечала на те же вопросы для других пользователей.
«Это еще один показатель, указывающий на то, что процесс согласования может побуждать модели скрывать информацию от определенных пользователей, чтобы избежать потенциального введения их в заблуждение, хотя модель явно знает правильный ответ и предоставляет его другим пользователям», — говорит Каббара.
Отголоски человеческой предвзятости
Полученные результаты отражают задокументированные закономерности социально-когнитивных искажений у людей. Исследования в области социальных наук показали, что носители английского языка часто воспринимают неносителей языка как менее образованных, умных и компетентных, независимо от их реального уровня знаний. Аналогичные предвзятые представления были задокументированы среди учителей, оценивающих студентов, для которых английский язык не является родным.
«Ценность больших языковых моделей очевидна, учитывая их чрезвычайно широкое распространение среди людей и огромные инвестиции, вкладываемые в эту технологию», — говорит Деб Рой, профессор медиаискусства и науки, директор CCC и соавтор статьи. «Это исследование напоминает о том, насколько важно постоянно оценивать системные искажения, которые могут незаметно проникать в эти системы, причиняя несправедливый вред определенным группам, причем никто из нас об этом не до конца осознает».
Последствия вызывают особую обеспокоенность, учитывая, что функции персонализации — такие как Memory от ChatGPT, которая отслеживает информацию о пользователе в ходе диалогов, — становятся все более распространенными. Подобные функции рискуют привести к дискриминации и без того маргинализированных групп населения.
«Программы обучения на уровне магистратуры позиционируются как инструменты, которые будут способствовать более справедливому доступу к информации и произведут революцию в персонализированном обучении», — говорит Пул-Даян. «Однако наши исследования показывают, что на самом деле они могут усугубить существующее неравенство, систематически предоставляя дезинформацию или отказываясь отвечать на запросы определенных пользователей. Люди, которые больше всего полагаются на эти инструменты, могут получать некачественную, ложную или даже вредную информацию».
Источник: news.mit.edu
