В ходе тестирования, проведенного медицинскими специалистами, модели искусственного интеллекта, такие как ChatGPT и Gemini, не смогли дать адекватные рекомендации по 60% запросов, касающихся женского здоровья.
Многие женщины используют ИИ для получения информации о здоровье, но результаты не всегда соответствуют ожиданиям. Оскар Вонг/Getty Images
Широко используемые модели искусственного интеллекта не способны точно диагностировать или давать рекомендации по многим вопросам, касающимся женского здоровья, требующим срочного внимания.
Тринадцать крупных языковых моделей, созданных такими компаниями, как OpenAI, Google, Anthropic, Mistral AI и xAI, получили 345 медицинских запросов по пяти специальностям, включая неотложную медицину, гинекологию и неврологию. Запросы были составлены 17 исследователями в области женского здоровья, фармацевтами и врачами из США и Европы.
Ответы были проверены теми же экспертами. Все вопросы, на которые модели не смогли ответить, были объединены в сравнительный тест медицинской компетентности моделей ИИ, который включал 96 вопросов.
Во всех моделях примерно в 60 процентах случаев ответы на вопросы были даны способом, который, по мнению экспертов, ранее не считался достаточным для предоставления медицинских рекомендаций. Модель GPT-5 показала наилучшие результаты, допустив ошибки в 47 процентах случаев, в то время как у модели Ministral 8B был самый высокий процент ошибок — 73 процента.
«Я видела, как все больше женщин в моем окружении обращались к инструментам искусственного интеллекта для решения вопросов, связанных со здоровьем, и принятия решений», — говорит Виктория-Элизабет Грубер, член команды Lumos AI, компании, которая помогает предприятиям оценивать и улучшать собственные модели ИИ. Она и ее коллеги осознали риски, связанные с использованием технологии, которая наследует и усиливает существующие гендерные различия в медицинских знаниях. «Именно это побудило нас создать первый эталон в этой области», — говорит она.
Грубер удивила частота неудач. «Мы ожидали некоторых расхождений, но больше всего нас поразила степень вариативности результатов в разных моделях», — говорит она.
Полученные результаты неудивительны, учитывая способ обучения моделей ИИ, основанный на исторических данных, созданных людьми, которые содержат встроенные искажения, говорит Кара Танненбаум из Университета Монреаля, Канада. Они указывают на «явную необходимость для онлайн-источников информации о здоровье, а также для профессиональных медицинских сообществ, обновлять свой веб-контент, добавляя более четкую информацию, основанную на доказательствах, касающуюся пола и гендера, которую ИИ сможет использовать для более точной поддержки здоровья женщин», — говорит она.
Джонатан Х. Чен из Стэнфордского университета в Калифорнии говорит, что заявленный исследователями, проводившими анализ, 60-процентный показатель неудач несколько вводит в заблуждение. «Я бы не стал полагаться на цифру в 60 процентов, поскольку это была ограниченная выборка, разработанная экспертами», — говорит он. «[Она] не была предназначена для того, чтобы быть широкой выборкой или репрезентативной для того, о чем обычно спрашивают пациенты или врачи».
Чен также отмечает, что некоторые сценарии, которые тестирует модель, являются чрезмерно консервативными и имеют высокий потенциальный процент неудач. Например, если женщины в послеродовой период жалуются на головную боль, модель предполагает, что модели ИИ дают сбой, если преэклампсия не заподозрена немедленно.
Грубер признает и понимает эту критику. «Наша цель состояла не в том, чтобы утверждать, что модели в целом небезопасны, а в том, чтобы определить четкий, клинически обоснованный стандарт оценки», — говорит она. «Этот критерий намеренно консервативен и достаточно строг в определении недостатков, потому что в здравоохранении даже, казалось бы, незначительные упущения могут иметь значение в зависимости от контекста».
Представитель OpenAI заявил: «ChatGPT разработан для поддержки, а не замены медицинской помощи. Мы тесно сотрудничаем с врачами по всему миру, чтобы улучшить наши модели, и проводим постоянные оценки для снижения количества вредных или вводящих в заблуждение ответов. Наша последняя модель GPT 5.2 — самая сильная из всех, учитывающая важный контекст пользователя, такой как пол. Мы серьезно относимся к точности результатов работы модели, и хотя ChatGPT может предоставлять полезную информацию, пользователи всегда должны полагаться на квалифицированных врачей при принятии решений о лечении и уходе». Другие компании, чьи системы ИИ были протестированы, не ответили на запрос New Scientist о комментариях.
DOI arXiv : arXiv:2512.17028
Источник: www.newscientist.com
