Мы объявляем о появлении новых мультимодальных моделей в коллекции MedGemma — наших наиболее функциональных открытых моделей для разработки искусственного интеллекта в сфере здравоохранения.
Быстрые ссылки
- технический отчет MedGemma
- ХАЙ-ДЕФ
- МедДжемма обнимает лицо
- MedGemma на GitHub
- MedSigLIP на GitHub
- Делиться
В здравоохранении все чаще используется ИИ для улучшения управления рабочими процессами, общения с пациентами, а также для поддержки диагностики и лечения. Крайне важно, чтобы эти системы на основе ИИ были не только высокопроизводительными, но и эффективными, а также обеспечивали конфиденциальность. Именно с учетом этих соображений мы разработали и недавно выпустили Health AI Developer Foundations (HAI-DEF). HAI-DEF — это набор легковесных открытых моделей, предназначенных для предоставления разработчикам надежных отправных точек для собственных исследований в области здравоохранения и разработки приложений. Поскольку модели HAI-DEF являются открытыми, разработчики сохраняют полный контроль над конфиденциальностью, инфраструктурой и модификациями моделей. В мае этого года мы расширили коллекцию HAI-DEF, добавив MedGemma — набор генеративных моделей на основе Gemma 3, предназначенных для ускорения разработки ИИ в здравоохранении и медико-биологических науках.
Сегодня мы с гордостью объявляем о выпуске двух новых моделей в этой коллекции. Первая — MedGemma 27B Multimodal, которая дополняет ранее выпущенные модели 4B Multimodal и 27B (только текст), добавляя поддержку сложной мультимодальной и продольной интерпретации электронных медицинских карт. Вторая новая модель — MedSigLIP, облегченный кодировщик изображений и текста для классификации, поиска и связанных задач. MedSigLIP основан на том же кодировщике изображений, что и модели MedGemma 4B и 27B.
MedGemma и MedSigLIP являются отличными отправными точками для медицинских исследований и разработки продуктов. MedGemma полезна для задач, связанных с медицинским текстом или изображениями, требующих генерации свободного текста, например, для создания отчетов или визуального ответа на вопросы. MedSigLIP рекомендуется для задач обработки изображений, требующих структурированных результатов, таких как классификация или поиск. Все вышеперечисленные модели могут работать на одном графическом процессоре, а MedGemma 4B и MedSigLIP могут быть адаптированы для работы на мобильном оборудовании.
Подробную информацию о разработке и оценке MedGemma и MedSigLIP можно найти в техническом отчете MedGemma.
MedGemma: многомодальная генеративная модель для здравоохранения
В коллекцию MedGemma входят варианты размером 4B и 27B, оба из которых теперь принимают изображения и текст в качестве входных данных и выдают текстовый результат.
- MedGemma 4B Multimodal : MedGemma 4B получила 64,4% баллов в тесте MedQA, что ставит её в число лучших открытых моделей для очень маленьких (<8 млрд) изображений. В неслепом исследовании 81% рентгеновских снимков грудной клетки, сгенерированных с помощью medgemma 4b, были оценены сертифицированным радиологом США как достаточно точные для обеспечения аналогичного подхода к ведению пациентов по сравнению оригинальными заключениями радиолога. Кроме того, она демонстрирует производительность в задачах классификации медицинских изображений, сопоставимую показателями современных моделей, предназначенных решения конкретных задач.
- MedGemma 27B Text и MedGemma 27B Multimodal : На основе внутренних и опубликованных оценок, модели MedGemma 27B входят в число лучших небольших открытых моделей (<50 байт) в бенчмарке MedQA для медицинских знаний и рассуждений; текстовый вариант набирает 87,7%, что всего на 3 пункта меньше, чем у DeepSeek R1, ведущей открытой модели, но при этом затраты на вывод примерно в десять раз ниже. Модели MedGemma 27B конкурентоспособны с более крупными моделями в различных бенчмарках, включая поиск и интерпретацию данных электронных медицинских карт.
На платформе MedQA модели MedGemma 4B и 27B входят в число лучших моделей своего размера. Обратите внимание, что на этом графике оценки стоимости основаны на анализе цен legacy.lmarena.ai и together.ai/pricing. Для моделей, отсутствующих в таблице лидеров, мы использовали данные о ценах моделей, на основе которых они были получены.
На основании анализа, проведенного сертифицированным американским кардиоторакальным радиологом, мы обнаружили, что 81% рентгеновских снимков грудной клетки, предоставленных компанией MedGemma, приводят к аналогичному подходу к лечению пациентов по сравнению с первоначальными заключениями радиолога.
Мы разработали эти модели, обучив оптимизированный для медицинских целей кодировщик изображений (выпущенный отдельно как MedSigLIP, описанный ниже), а затем обучив соответствующие версии 4B и 27B модели Gemma 3 на медицинских данных. В ходе этого процесса мы позаботились о сохранении общих (немедицинских) возможностей Gemma. Это позволяет MedGemma хорошо справляться с задачами, сочетающими медицинскую и немедицинскую информацию, и сохранять способность следовать инструкциям и возможности работы с данными на языках, отличных от английского.
Ключевым аспектом этих моделей является их адаптивность. Например, после тонкой настройки MedGemma 4B демонстрирует самые современные результаты в генерации отчетов по рентгеновским снимкам грудной клетки, с показателем RadGraph F1, равным 30,3. Простая возможность для разработчиков улучшать производительность в целевых приложениях подчеркивает ценность MedGemma как отправной точки для разработчиков, стремящихся создавать ИИ для здравоохранения.
MedSigLIP: специализированный кодировщик изображений для здравоохранения.
MedSigLIP — это облегченный кодировщик изображений всего с 400 миллионами параметров, использующий архитектуру функции потерь Sigmoid для предварительного обучения распознавания языковых изображений (SigLIP). MedSigLIP был адаптирован из SigLIP путем настройки на различных медицинских изображениях, включая рентгеновские снимки грудной клетки, гистопатологические фрагменты, дерматологические изображения и изображения глазного дна, что позволило модели изучить тонкие особенности, специфичные для этих модальностей. Важно отметить, что мы также позаботились о том, чтобы MedSigLIP сохранял высокую производительность на естественных изображениях, на которых обучалась оригинальная модель SigLIP, поддерживая тем самым свою универсальность.
MedSigLIP разработан для преодоления разрыва между медицинскими изображениями и медицинским текстом путем кодирования их в общее пространство встраивания. MedSigLIP обеспечивает аналогичную или улучшенную производительность классификации по сравнению с моделями встраивания изображений, предназначенными для конкретных задач, и при этом обладает гораздо большей универсальностью в различных областях медицинской визуализации.
MedSigLIP идеально подходит для:
- Традиционная классификация изображений: создание высокопроизводительных моделей для классификации медицинских изображений.
- Классификация изображений без предварительного обучения: Классификация изображений без конкретных обучающих примеров путем сравнения векторных представлений изображений с векторными представлениями текстовых меток классов.
- Семантический поиск изображений: поиск визуально или семантически похожих изображений в больших базах данных медицинских изображений.
Сила открытых моделей
Поскольку коллекция MedGemma является открытой, модели можно загружать, использовать в качестве основы и дорабатывать для удовлетворения конкретных потребностей разработчиков. В частности, в медицинской сфере такой открытый подход предлагает ряд существенных преимуществ по сравнению с моделями на основе API:
- Гибкость и конфиденциальность: модели могут запускаться на проприетарном оборудовании в предпочтительной для разработчика среде, включая платформу Google Cloud Platform или локально, что позволяет решить проблемы конфиденциальности или учесть институциональные правила.
- Индивидуальная настройка для высокой производительности: модели можно точно настраивать и модифицировать для достижения оптимальной производительности в целевых задачах и на целевых наборах данных.
- Воспроизводимость и стабильность: Поскольку модели распространяются в виде снимков, их параметры зафиксированы и, в отличие от API, не будут неожиданно изменяться со временем. Эта стабильность особенно важна для медицинских приложений, где согласованность и воспроизводимость имеют первостепенное значение.
Для обеспечения широкой доступности и удобства использования наша коллекция Hugging Face предлагает MedSigLIP и MedGemma в популярном формате защитных устройств Hugging Face.
Что создают разработчики с помощью MedGemma и MedSigLIP
Исследователи и разработчики изучают модели MedGemma для решения различных задач и обнаружили, что они эффективно справляются с рядом важных проблем. Разработчики из DeepHealth в Массачусетсе, США, изучают MedSigLIP для улучшения сортировки рентгеновских снимков грудной клетки и обнаружения узлов. Исследователи из Мемориальной больницы Чанг Гунг на Тайване отметили, что MedGemma хорошо работает с традиционной китайской медицинской литературой и может эффективно отвечать на вопросы медицинского персонала. Разработчики из Tap Health в Гургаоне, Индия, отметили превосходную медицинскую основу MedGemma, подчеркнув ее надежность в задачах, требующих учета клинического контекста, таких как составление кратких отчетов о ходе лечения или предложение рекомендаций, соответствующих клиническим заключениям.
Мы рады продолжить изучение этих и других вариантов использования от разработчиков, которые создают инструменты искусственного интеллекта для здравоохранения нового поколения с помощью MedGemma и MedSigLIP.
воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
Начните и исследуйте
Чтобы помочь разработчикам начать работу, мы предоставили подробные блокноты на GitHub для MedGemma и MedSigLIP, демонстрирующие, как создавать экземпляры MedSigLIP и MedGemma как для вывода результатов, так и для тонкой настройки в Hugging Face. Когда разработчики будут готовы к масштабированию, MedGemma и MedSigLIP можно будет легко развернуть в Vertex AI в качестве выделенных конечных точек, и мы предоставляем примеры на GitHub, как запускать вывод результатов на этих конечных точках. Мы также добавили новую демонстрацию в нашу коллекцию демонстраций HAI-DEF Hugging Face, которая показывает, как MedGemma можно интегрировать в приложение для оптимизации сбора информации перед визитом пациента.
воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
В этой демонстрации показано, как MedGemma может быть интегрирована в приложение для оптимизации сбора информации перед визитом пациента. Код для демонстрации доступен на сайте Hugging Face.
Обратитесь к приведенной ниже таблице, чтобы понять, какая модель из семейства MedGemma идеально подходит для ваших задач.
* Для приложений, специфичных для патологоанатомии и не требующих выравнивания языка, Path Foundation обеспечивает высокую производительность для классификации с минимальными затратами данных и меньшими вычислительными требованиями.
** Записи Fast Healthcare Interoperability Resources (FHIR) представляют собой текстовые файлы, но имеют уникальную структуру. Данные электронных медицинских карт были включены только в обучение мультимодальной модели MedGemma 27B.
Пожалуйста, посетите сайт HAI-DEF, чтобы ознакомиться с этими ресурсами и узнать больше о коллекции MedGemma и других моделях Health AI Developer Foundations. Для вопросов и отзывов доступен форум HAI-DEF.
Примечание к обучающим наборам данных
Модели обучались на смеси общедоступных и частных обезличенных наборов данных. Google и его партнеры используют наборы данных, которые были тщательно анонимизированы или обезличены, чтобы обеспечить защиту отдельных участников исследования и конфиденциальность пациентов.
Отказ от ответственности
MedGemma и MedSigLIP предназначены для использования в качестве отправной точки, позволяющей эффективно разрабатывать последующие приложения для здравоохранения, использующие медицинский текст и изображения. MedGemma и MedSigLIP не предназначены для использования без соответствующей проверки, адаптации и/или внесения существенных изменений разработчиками для конкретного случая. Результаты, полученные с помощью этих моделей, не предназначены для непосредственного информирования о клинической диагностике, решениях по ведению пациентов, рекомендациях по лечению или любых других приложениях в клинической практике. Показатели производительности демонстрируют базовые возможности на соответствующих тестовых наборах данных, но даже для областей изображений и текста, составляющих значительную часть обучающих данных, возможны неточные результаты работы модели. Все результаты работы модели следует рассматривать как предварительные и требуют независимой проверки, клинической корреляции и дальнейшего исследования с использованием установленных методологий исследований и разработок.
Благодарности
MedGemma — это результат сотрудничества Google Research и Google DeepMind. Мы благодарим многих людей, внесших свой вклад в эту работу, включая инженеров и специалистов из разных подразделений команд Google Health AI и Gemma, а также наших спонсоров из Google Research и Google DeepMind.
Источник: research.google
