Опечатки и сленг побуждают ИИ препятствовать обращению за медицинской помощью

Модели искусственного интеллекта меняют свои медицинские рекомендации, когда люди задают им вопросы, содержащие ненормативную лексику, опечатки, странное форматирование и даже гендерно-нейтральные местоимения.

Стоит ли вам обратиться к врачу из-за боли в горле? Совет ИИ может зависеть от того, насколько аккуратно вы набрали свой вопрос. Когда модели искусственного интеллекта тестировались на смоделированных текстах потенциальных пациентов, они с большей вероятностью рекомендовали не обращаться за медицинской помощью, если автор делал опечатки, использовал эмоциональный или неопределенный язык или был женщиной.

«Скрытая предвзятость может изменить тон и содержание советов ИИ, и это может привести к тонким, но важным различиям» в распределении медицинских ресурсов, говорит Карандип Сингх из Калифорнийского университета в Сан-Диего, который не принимал участия в исследовании.

Абинита Гоурабатина из Массачусетского технологического института и ее коллеги использовали ИИ для создания тысяч заметок для пациентов в разных форматах и стилях. Например, некоторые сообщения включали дополнительные пробелы и опечатки, чтобы имитировать пациентов с ограниченным знанием английского языка или с меньшей легкостью набора текста. В других заметках использовался неопределенный язык в стиле писателей с тревогой за здоровье, красочные выражения, которые придавали драматический или эмоциональный тон, или гендерно-нейтральные местоимения.

Затем исследователи передали заметки четырем большим языковым моделям (LLM), которые обычно используются для работы чат-ботов, и попросили ИИ ответить на вопросы о том, следует ли пациенту контролировать свое состояние дома или посещать клинику, и следует ли пациенту проходить определенные лабораторные тесты и получать другие медицинские ресурсы. Эти модели ИИ включали GPT-4 от OpenAI, Llama-3-70b и Llama-3-8b от Meta, а также модель Palmyra-Med, разработанную для сферы здравоохранения компанией ИИ Writer.

Тесты показали, что различные изменения формата и стиля привели к тому, что все модели ИИ на 7–9 процентов чаще рекомендовали пациентам оставаться дома вместо обращения за медицинской помощью. Модели также чаще рекомендовали женщинам-пациентам оставаться дома, а последующие исследования показали, что они чаще, чем врачи-клиницисты, меняли свои рекомендации по лечению из-за пола и стиля языка в сообщениях.

OpenAI и Meta не ответили на запрос о комментарии. Writer не «рекомендует и не поддерживает» использование LLM — включая модель Palmyra-Med компании — для клинических решений или медицинских консультаций «без участия человека», говорит Заид Ясин из Writer.

Большинство операционных инструментов ИИ, которые в настоящее время используются в электронных системах медицинских карт, основаны на GPT-4o от OpenAI, который специально не изучался в этом исследовании, говорит Сингх. Но он сказал, что одним из важных выводов исследования является необходимость в улучшенных способах «оценки и мониторинга генеративных моделей ИИ», используемых в отрасли здравоохранения.

FAccT '25: Труды конференции ACM 2025 года по справедливости, подотчетности и прозрачности DOI: 10.1145/3715275.3732121

Источник: www.newscientist.com