Модель PRISM2 использует клинический диалог для интерпретации патологических препаратов.

Искусственный интеллект в здравоохранении и оздоровлении

Модель PRISM2 использует клинический диалог для интерпретации патологических препаратов.

Созданная Пейдж и Microsoft, модель PRISM2 считывает изображения целых срезов с помощью кодировщика на основе механизма восприятия, обученного совместно на фрагментах тканей и клиническом диалоге из патологических заключений. Модель объединяет тысячи векторных представлений фрагментов с каждого среза в одно представление, а затем генерирует текст, который отвечает на диагностические вопросы, а не просто классифицирует пиксели.

Обучающие данные охватывают 2,3 миллиона изображений целых срезов. Диалоговое обучение основано на 685 507 патологических заключениях, собранных Мемориальным онкологическим центром Слоан-Кеттеринг в ходе рутинного лечения и преобразованных в пары вопросов и ответов с помощью GPT-4o.

Архитектура и проектирование встраивания

Архитектура работает в два отдельных этапа. На первом этапе происходит обучение самого кодировщика слайдов, который учится объединять элементы на уровне отдельных фрагментов в единый вектор на уровне слайда, соответствующий языку отчета.

На втором этапе кодировщик полностью замораживается, и работа перекладывается на языковую модель, которая дорабатывается на основе диалогов, чтобы обучаться правилам составления патологических заключений, а не механике кодировщика.

На этом втором этапе в качестве контроля используется диалог, состоящий из одного хода. История многоходовых разговоров не попадает в обучающий сигнал, что ограничивает возможности интерактивного обмена репликами, которые может поддерживать развернутая система без дополнительной доработки.

На первом этапе в центре находится кодировщик слайдов на основе восприятия, который объединяет векторные представления плиток Virchow2 в представление на уровне слайда. Его обучают одновременно две функции потерь.

Встраивание текста в BioGPT использует контрастную целевую функцию, которая приближает представления слайдов к соответствующему языку отчета и отталкивает их от несоответствующих пар. Phi-3 Mini использует авторегрессивную целевую функцию, заставляя выходные данные кодировщика поддерживать прямую генерацию текста, а не просто оценку сходства.

Одно лишь контрастное обучение, как правило, приводит к получению эмбеддингов, хорошо подходящих для поиска, но слабых для генерации, а одно лишь авторегрессивное обучение может привести к переобучению на поверхностных текстовых шаблонах без изучения переносимых визуальных признаков. Использование обоих методов на одном и том же выходе кодировщика — это архитектурная ставка, которую делает PRISM2.

PRISM2 предоставляет два отдельных эмбеддинга вместо одного. Базовые эмбеддинги поступают непосредственно из кодировщика слайдов и используются в задачах прогнозирования биомаркеров. Диагностические эмбеддинги извлекаются из скрытого состояния языковой модели с 4 миллиардами параметров, которое выделяется только после того, как эта модель обработает только латентные данные слайда, используя изображение без текстовой подсказки.

Это различие определяет, где каждый из векторов отображения показывает наилучшие результаты. Обучение настраивает диагностический вектор отображения специально для задач обнаружения рака, субтипирования и выявления доброкачественных заболеваний. Авторы статьи рекомендуют использовать базовый вектор отображения для всего, что выходит за рамки этого распределения, ориентированного на диагностику. Для задач выживания используется третий, отдельно доработанный вектор отображения в дополнение к двум другим.

Результаты производительности и сравнительные тесты

PRISM2 соответствует или превосходит сбалансированную точность клинических продуктов, откалиброванных для обнаружения рака предстательной железы и молочной железы, протестированных на собственных оценочных наборах данных этих продуктов. Классификация лимфатических узлов молочной железы также входит в сравнение, и PRISM2 превосходит Paige BLN в этом отношении без дополнительного обучения для этой конкретной задачи.

Более ранние базовые модели, включенные в сравнение, не так хорошо показывают себя при сравнительной классификации: PRISM и TITAN не достигают уровня полноценных продуктов, и разрыв увеличивается, особенно при тестировании лимфатических узлов молочной железы.

Обнаружение рака в целом расширяет возможности сравнительного анализа. Диагностические эмбеддинги достигли показателя AUC 0,967, против 0,956 для базового эмбеддинга в той же задаче. PRISM показал результат 0,947 в этом сравнении, а TITAN — 0,931.

В случае обнаружения редких видов рака показатель AUC для диагностического вектора снизился с 0,967 до 0,957. В статье это снижение объясняется недостаточным количеством обучающих примеров для этих типов тканей.

Линейное зондирование обеспечивает более точную оценку качества представления, чем сквозная тонкая настройка, поскольку оно удерживает кодировщик в фиксированном положении и проверяет только, может ли простой классификатор извлечь соответствующий сигнал.

При использовании этого метода эмбеддинги PRISM2 статистически никогда не уступают предыдущим базовым моделям по всем протестированным диагностическим критериям (P < 0,05). Результаты улучшаются наиболее значительно там, где обучающий набор данных по всем типам рака содержит мало образцов сравниваемых типов тканей.

Задачи, связанные с выживаемостью и биомаркерами, следуют схожей схеме при использовании одного и того же метода исследования. Исследователи собрали более 225 000 случаев, отслеживая общую выживаемость почти 100 000 пациентов, а затем сравнили точно настроенный кодировщик слайдов PRISM2 непосредственно с моделью, специализирующейся на выживаемости, обученной с нуля на том же наборе данных. В этом сравнении победили эмбеддинги PRISM2.

Наибольший разрыв был выявлен в показателе выживаемости без рецидивов колоректального рака по данным MSK: индекс согласованности составил 0,809 против 0,773 у специализированной модели.

Базовые эмбеддинги показывают хорошие результаты и здесь, без какой-либо тонкой настройки, специфичной для выживаемости. В задачах с биомаркерами — которые находятся за пределами обучающей выборки с диалогом отчета — базовые эмбеддинги фактически превосходят диагностические, показывая в среднем 0,854 AUC в задачах MSK и 0,784 в задачах TCGA. COBRA и TITAN немного отстают по этим же показателям.

Исследование методом абляции позволяет выделить вклад именно контроля диалога. Добавление шаблонов диалога к исходной точке PRISM повысило точность вывода на основе подсказок с примерно 0,498 до 0,653.

Объём набора данных для ответов на вопросы, лежащий в основе этого скачка, в 3,5 раза больше, чем подмножество PRISM, на котором он основан, и в статье примерно половина диагностического улучшения PRISM2 объясняется именно этим увеличением масштаба, а не архитектурными изменениями.

В общей сложности обучающие данные охватывают 200 692 пациента. GPT-4o сгенерировал каждый пример диалога на основе 685 507 отчетов, используя конвейер синтетических данных, который сам по себе нуждался в независимой проверке качества.

Качество данных, частота ошибок и архитектурные ограничения

Патологоанатом проанализировал 50 образцов, отобранных для дальнейшего использования, из 10 типов тканей, чтобы проверить как сгенерированный обучающий текст, так и собственные результаты работы PRISM2.

Доля ошибок в вопросах с точным ответом составила 3 процента как для вопросов с открытым ответом, так и для вопросов с несколькими вариантами ответа. В диагностических резюме этот показатель был выше — 8 процентов ошибок. Наихудшие результаты среди всех трех категорий показали дополнительные вопросы типа «да/нет»: 18 процентов из них были нерелевантными или неточными.

В ходе того же обзора доля ошибок в ответах на вопросы, допущенных самой организацией PRISM2, составляла от 7 до 11 процентов. Наиболее распространенными типами ошибок были галлюцинации и упущения, а не фактическое противоречие исходному слайду.

Модель не использует кодирование положения между фрагментами изображения, то есть в ней отсутствует встроенный механизм для определения относительного расположения структур на слайде. Все сканирования в процессе обучения и тестирования проводились с одним фиксированным разрешением: 0,5 микрона на пиксель.

Ни одна из этих проблем не является тривиальной для команды разработчиков машинного обучения, оценивающей архитектуру. Задачи пространственного мышления и необходимость работы при различном увеличении остаются нерешенными проблемами, а не решенными, но неоптимизированными.

MSK отсканировала каждый слайд, использованный в обучении. Оценка также проводилась с использованием данных, не относящихся к MSK. Авторы призывают к внешней валидации перед внедрением метода сканирования за пределы одного учреждения.

Весовые коэффициенты модели публикуются на Hugging Face. Конвейеры обучения и вывода по-прежнему зависят от собственной инфраструктуры Paige и Microsoft, что ограничивает возможности стороннего разработчика воспроизвести весь конвейер целиком, а не просто выполнить вывод с использованием опубликованных весовых коэффициентов.

Команды, разрабатывающие приложения на основе PRISM2, должны протестировать перенос эмбеддингов на основе результатов сканирования собственного сканера, прежде чем предполагать их соответствие базовой модели, обученной на MSK.

Исправление: В эту статью внесены изменения, чтобы уточнить, что данные оценки PRISM2 не ограничивались слайдами, полученными из опорно-двигательного аппарата, что диагностическое встраивание также поддерживает обнаружение доброкачественных признаков, и что диагностические встраивания генерируются только из изображения, без текстового запроса.

См. также: Почему биологические данные имеют большее значение в разработке лекарств с помощью ИИ

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими выставками, включая Cyber Security & Cloud Expo. Для получения дополнительной информации нажмите здесь.

AI News — это проект TechForge Media. Здесь вы можете ознакомиться с другими предстоящими мероприятиями и вебинарами, посвященными корпоративным технологиям.

Источник: www.artificialintelligence-news.com