Комплексная оценка больших языковых моделей для медицинских задач с помощью MedHELM.

Абстрактный

Хотя большие языковые модели (LLM) показывают почти идеальные результаты на экзаменах по лицензированию медицинских специалистов, эти оценки неадекватно отражают сложность и разнообразие реальной клинической практики. Здесь мы представляем MedHELM — расширяемую систему оценки, включающую три основных компонента. Во-первых, проверенную врачами таксономию, организующую приложения медицинского ИИ в пять категорий, отражающих реальные клинические задачи: поддержка принятия клинических решений (диагностические решения, планирование лечения), генерация клинических записей (документация посещений, отчеты о процедурах), общение с пациентами (образовательные материалы, инструкции по уходу), медицинские исследования (анализ литературы, анализ клинических данных) и администрирование (планирование, координация рабочих процессов). Эти категории включают 22 подкатегории и 121 конкретную задачу, отражающую повседневную медицинскую практику. Во-вторых, всеобъемлющий набор из 37 оценочных критериев, охватывающих все подкатегории. В-третьих, проведено систематическое сравнение девяти перспективных моделей LLM — Claude 3.5 Sonnet, Claude 3.7 Sonnet, DeepSeek R1, Gemini 1.5 Pro, Gemini 2.0 Flash, GPT-4o, GPT-4o mini, Llama 3.3 и o3-mini — с использованием автоматизированного метода оценки жюри LLM. Наше жюри LLM использует нескольких экспертов по искусственному интеллекту для оценки результатов работы моделей по критериям, определенным экспертами. Передовые модели рассуждений (DeepSeek R1, o3-mini) продемонстрировали превосходные результаты с показателем успеха в 66%, хотя Claude 3.5 Sonnet показала сопоставимые результаты при 15% меньших вычислительных затратах. Эти результаты не только подчеркивают текущие возможности моделей, но и демонстрируют, как MedHELM может обеспечить выбор медицинских систем искусственного интеллекта для применения в здравоохранении на основе фактических данных.

Доступ через ваше учебное заведение. Купить или оформить подписку.

Это предварительный просмотр контента по подписке, доступ к которому осуществляется через ваше учреждение.

Варианты доступа

Доступ через ваше учебное заведение.

Получите доступ к журналу Nature и еще 54 журналам из портфолио Nature.

Оформите подписку Nature+, нашу самую выгодную подписку на онлайн-доступ.

27,99 € / 30 дней

отменить в любое время

Узнать больше

Подпишитесь на этот журнал

Получите 12 печатных выпусков и доступ к онлайн-версии.

251,40 € в год

всего 20,95 € за выпуск

Узнать больше

Купить эту статью

• Купить на SpringerLink
• Мгновенный доступ к полному PDF-файлу статьи.

39,95 €

К ценам могут применяться местные налоги, которые рассчитываются при оформлении заказа.

Дополнительные варианты доступа:

• Авторизоваться
• Узнайте о подписках для учреждений
• Ознакомьтесь с нашими часто задаваемыми вопросами.
• Обратитесь в службу поддержки клиентов.

Похожий контент просматривают другие пользователи.

Оценка эффективности работы крупных языковых моделей на корейском медицинском лицензионном экзамене: трехлетний сравнительный анализ.

Статья будет опубликована в открытом доступе 15 октября 2025 года.

Источник: www.nature.com