AIRI придумал новые метрики для проверки медицинского ИИ В AIRI…

AIRI придумал новые метрики для проверки медицинского ИИ

В AIRI и НМИЦ им. В.А. Алмазова разработали метрики RPAD и RRAD для оценки качества ИИ в медицинской диагностике.

Их задача — сравнивать ответы моделей не с жёстким списком диагнозов, а с заключениями группы врачей. Это важный сдвиг: в реальной медицине диагнозы часто формулируются свободным текстом, а не выбираются из аккуратного выпадающего меню, где жизнь почему-то всегда проще.

Метрики называются:
— RPAD — Relative Precision of Algorithmic Diagnostics
— RRAD — Relative Recall of Algorithmic Diagnostics

Чтобы корректно сопоставлять такие свободные формулировки, исследователи собрали датасет из 1,5 тыс. пар диагнозов. На нём алгоритм сопоставления показал точность 98%.

Затем метод проверили на 360 медицинских диалогах врачей с пациентами. В сравнении участвовали GigaChat, Qwen, DeepSeek, GPT-4o, Mistral и Llama.

По словам авторов, почти все модели, кроме Llama 3.1 405B, оказались достаточно близки к мнению врачей. Лучшие результаты показали GigaChat, DeepSeek и GPT-4o: их ответы были на 13–16% ближе к заключениям специалистов, чем врачи друг к другу.

Похоже, медицинский ИИ постепенно начинают оценивать не в лабораторном вакууме, а ближе к реальной практике: с диалогами, свободными формулировками и человеческой вариативностью. Потому что в диагностике важно не только угадать правильный пункт из списка, но и говорить на языке, которым реально пользуются врачи.

*Llama разработана Meta, признанной в России экстремистской организацией и запрещённой.