Тест производительности: модель LandingLens Vision улучшает классификацию ретинопатии

В этой статье представлены результаты сравнительного исследования, проведенного с использованием открытого набора данных изображений глазного дна. Используя те же исходные изображения, те же разделы и те же истинные метки, LandingLens создал многоклассовую модель классификации с оценкой F1 92,1%. Это существенное улучшение по сравнению с лучшим результатом F1 в 83%, указанным авторами, опубликовавшими набор данных. Этот результат был достигнут примерно за 2 часа работы в LandingLens.

Ретинопатия недоношенных (РН) — это заболевание глаз, которое может привести к слепоте и поражает преимущественно недоношенных детей. РН развивается вследствие аномального роста кровеносных сосудов сетчатки. У недоношенных детей кровеносные сосуды сетчатки при рождении развиты не полностью. Под воздействием высокого уровня кислорода (например, в отделениях интенсивной терапии новорожденных) эти сосуды могут аномально разрастаться, что приводит к осложнениям.

РН классифицируется на пять стадий: от легкой (стадия 1) до тяжелой (стадия 5):

• Стадия 1 и 2: аномальный рост кровеносных сосудов от легкой до умеренной степени тяжести; обычно проходит сам по себе.
• Стадия 3: Значительный аномальный рост сосудов; может потребоваться лечение.
• Стадия 4: Частичная отслойка сетчатки.
• Стадия 5: Полная отслойка сетчатки, приводящая к слепоте.

В мае 2024 года шестнадцать авторов, сотрудничающих с Шэньчжэньским институтом глазных болезней, Политехническим университетом Макао, Нью-Йоркским университетом и Офтальмологическим центром Чжуншань, опубликовали в открытом доступе набор данных из 1099 изображений, полученных от 483 недоношенных детей. Мы искренне благодарим их за кропотливую работу по сбору этих изображений и за предоставление их для публикации.

В своей статье «Набор данных изображений глазного дна для интеллектуальной системы ретинопатии недоношенных» авторы приводят метрики производительности четырёх моделей зрения на основе ИИ. Этот рисунок представляет собой воспроизведение таблицы 2 «Результаты классификации моделей ИИ» из их статьи. Обратите внимание, что наилучший результат F1 составил 82,81 в строке 1. Также обратите внимание на производительность архитектуры модели ConvNeXt-T в строке 3. Из четырёх методов, представленных в таблице, этот метод наиболее близок к архитектуре базовой системы LandingLens, использованной в наших тестах производительности.

Обзор процесса

Мы скачали набор данных и проверили, указали ли авторы конкретные разделы для 1099 изображений. Обнаружив, что они этого не сделали, мы загрузили изображения на LandingLens оптом, не указывая разделы.

В процессе загрузки и регистрации данных LandingLen обнаружил семь дубликатов изображений, поэтому в результатах поиска учтены 1092 уникальных изображения. LandingLens способен обнаруживать дубликаты изображений, даже если у них разные имена файлов.

Используя опцию «Пользовательское обучение», мы настроили соотношение 80/10/10 для обучающего, девелопментного и тестового наборов. Мы выбрали основу модели ConvNeXt, сохранили разрешение изображений 512 x 512 пикселей и выбрали четыре из доступных методов аугментации данных: горизонтальное и вертикальное отражение, случайный поворот и значение насыщенности оттенка.

Настройка пользовательской конфигурации заняла около 4 минут, а фактическое обучение модели заняло 9 минут с использованием облачных графических процессоров, предоставленных LandingAI пользователям веб-версии LandingLens.

Скриншот 1: Сводка данных, показывающая распределение меток и разделений

Скриншот 2: Конфигурация обучения

Обзор результатов

Модель глубокого обучения LandingLens продемонстрировала выдающиеся результаты в этой задаче классификации по пяти классам, достигнув впечатляющего результата F1: 99% на обучающем наборе, 96% на наборе для разработки и 92% на тестовом. Эти результаты подтверждают высокую способность модели к обобщению данных за пределами обучающего набора, сохраняя при этом высокую точность на всех этапах. Стабильная производительность на всех наборах данных свидетельствует о том, что модель хорошо обучена и способна делать надёжные прогнозы, что делает её перспективным кандидатом для внедрения в реальных условиях.

Скриншот 3: Тестовый набор (N=114) матрица путаницы

В тестовом наборе было обнаружено девять ошибочных классификаций, соответствующих недиагональным элементам матрицы ошибок. Приятно видеть, что ошибки модели обычно возникают между соседними этапами: этап 1<>этап 2 или этап 2<>этап 3.

Подробное описание процесса маркировки данных приведено в оригинальной статье в журнале Nature. В публикации говорится: «Стоит отметить, что результаты классификации каждого изображения могут не полностью соответствовать результатам, полученным разными офтальмологами по всему миру, даже после выполнения вышеупомянутых этапов. Даже если все офтальмологи используют одни и те же критерии ICROP для классификации изображений глазного дна, разные офтальмологи могут предоставлять разные результаты классификации, основываясь на своём визуальном суждении. Наиболее очевидна несогласованность в классификации РН на 1-й и 2-й стадиях».

В свете этого утверждения мы проанализировали матрицу ошибок для обучающих данных и обнаружили, что единственной ошибкой классификации была ошибка «Этап 1<>Этап 2». Это укрепило нашу уверенность в качестве модели.

Пользовательский интерфейс LandingLens позволяет легко просматривать ошибочные классификации с помощью экспертов-аннотаторов.

Скриншот 4: четыре тестовых набора изображений, для которых истина соответствует этапу 2, а прогноз — этапу 1.

Краткое содержание

Это сравнительное исследование демонстрирует эффективность LandingLens для конкретного случая применения в области естественных наук — ретинопатии недоношенных (РН). Используя пользовательскую опцию обучения LandingLens с оптимизированной основой модели ConvNeXt, мы создали пятиклассовую модель классификации с оценкой F1 92,1%, что значительно лучше предыдущего лучшего показателя F1 в 83%, зафиксированного в оригинальной публикации набора данных. Примечательно, что этот результат был получен всего за 2 часа работы с платформой LandingLens.

Модель может быть развернута в облачной конечной точке или запущена на периферийном устройстве.

Попробуйте LandingLens бесплатно на app.landing.ai.

Источник: landing.ai