ИИ отговаривает пациентов обращаться к врачам, и чем больше опечаток они делают в запросах, тем чаще это происходит
По данным исследования MIT, LLM чрезвычайно чувствительны к стилю текста, и даже лишний пробел может повлиять на рекомендации по вопросам здоровья.
Исследователи протестировали 4 ИИ (ChatCPT, Llama-3-8B, Llama-3-70B и Palmyra Med) на запросах пациентов с различными симптомами.
Сначала они получили ответ на эти запросы в нейтральной форме для контроля, затем внесли незначительные изменения в текст: восклицательные знаки, орфографические ошибки, лишние пробелы или отсутствие заглавных букв.
Авторы также добавили эмоциональные выражения вроде “вау” и “боже мой” и формулировки, подразумевающие неуверенность: “может быть”, “я думаю” и т.д.
Исследование проверяло, как часто ИИ советует посетить врача на основании описанных симптомов. Выяснилось, что каждое из этих изменений заставляет ИИ на 7-9% чаще отговаривать пациента обращаться за медицинской помощью и вместо этого предлагать самолечение.
Когда “пациент” описывал свои симптомы не в одном сообщении, а в ходе диалога, проблема усугублялась еще больше.
Выяснились и другие проблемы с LLM:
ИИ все еще не готов к взаимодействию с реальными пациентами, которые редко следуют формальному стилю и предпочитают диалоги.
“Наказание” пользователя за ошибки и опечатки отражает общественную предвзятость, которую ИИ усваивает в процессе обучения.
Неграмотность характерна для малообразованных и иноязычных слоев населения, например, мигрантов, которым чаще отказывают в медицинском обслуживании из-за неплатежеспособности или миграционного статуса.
Обученный на предвзятых данных ИИ делает вывод, что пишущему с ошибками пользователю не стоит посещать врача — чем поощряет самолечение пациентов, которым нужна неотложная помощь.
Источник: t.me
Источник: ai-news.ru