Исследование того, как ИИ может помочь пользователям понять состояние кожи.
Мы представляем результаты недавних публикаций о том, как инструменты искусственного интеллекта в дерматологии могут помочь людям, не имеющим медицинского образования, в решении их собственных вопросов, связанных с кожей.
Быстрые ссылки
- Бумага 1
- Работа 2
- Делиться
Более половины взрослых используют Интернет для получения информации о здоровье, а треть обращается к искусственному интеллекту (ИИ). Однако доступ к информации не означает, что её легко понять или правильно интерпретировать. Короче говоря, человеческий фактор в использовании ИИ для предоставления информации о здоровье остаётся важным для исследований, направленных на то, чтобы помочь людям получать пользу от более качественной информации о здоровье.
В частности, это важно в области дерматологии (кожа, волосы, ногти; далее для краткости — «кожа»), поскольку людям сложно найти в интернете нужную информацию, касающуюся их проблем с кожей. Например, вы можете заметить «красные точки на ногах», но у вас может не быть достаточных знаний, чтобы специально искать информацию о «пальпируемой пурпуре».
За эти годы мы создали техническую базу в этой области, включая разработку моделей ИИ для дифференциальной диагностики, проверку обобщающей способности моделей и выпуск таких наборов данных, как SCIN, для помощи клиницистам и исследователям. Однако наиболее значительный эффект может быть достигнут только путем поддержки принятия решений людьми, имеющими проблемы с кожей, посредством предоставления высококачественной информации.
Для этого крайне важно понимать, как люди взаимодействуют с ИИ, чтобы принимать обоснованные решения. Предыдущие исследования, оценивавшие инструменты, не использующие ИИ, показали, что, хотя люди могут лучше распознавать заболевания с помощью интернета, это не обязательно улучшает их способность принимать решения о дальнейших действиях. Нам необходимо обеспечить, чтобы по мере появления инструментов ИИ мы тщательно изучали и совершенствовали человеческий фактор, чтобы помочь людям принимать более взвешенные решения.
Учитывая вышесказанное, сегодня мы делимся некоторыми результатами наших недавних и прошлых исследований, посвященных пониманию потребителями инструментов искусственного интеллекта для решения вопросов, связанных с дерматологией. К ним относятся недавняя масштабная количественная работа, демонстрирующая повышение способности людей называть заболевания с помощью ИИ, а также некоторые преимущества в определении дальнейших действий. Кроме того, в нее включено углубленное исследование с использованием смешанных методов, посвященное тому, как люди используют эти инструменты для решения собственных проблем с кожей, и как полученное ими понимание соотносится с пониманием, полученным в ходе беседы с врачами.
Оценка понимания потребителями ситуации в масштабах предприятия
В статье «Понимание потребителями проблем с кожей с помощью информационного инструмента на основе ИИ», опубликованной на этой неделе в журнале JAMA Dermatology , мы исследовали, как структурированная помощь ИИ меняет способность пользователя идентифицировать заболевание и определить дальнейшие действия. Мы показали 2345 участникам опроса ретроспективные, обезличенные случаи заболеваний кожи — с изображениями и структурированной медицинской историей — и попросили их представить эти случаи своими собственными.
Скриншот интерфейса ИИ (специально созданного на платформе опроса для данного исследования), который видели участники. Им был представлен пример из практики ( A ), а также прокручиваемая карусель прогнозов от ИИ ( B ). При нажатии на условие им предоставлялась подробная информация об этом условии ( C ).
Для исследования случаев участники были случайным образом разделены на три группы:
- (Отрицательный) контроль : Участники использовали уже знакомые им инструменты, такие как стандартный текстовый поиск в интернете.
- ИИ : Участники использовали прототип ИИ (пользовательский интерфейс на рисунке выше), который предоставлял прокручиваемую карусель из 3–7 соответствующих условий, основанных на прогнозах модели ИИ, с изображениями из учебников и подробной информацией о симптомах и методах лечения.
- « Волшебник страны Оз » (положительный контроль) : Участники использовали тот же интерфейс ИИ, но прогнозируемые условия фактически представляли собой «эталонные» различия, предоставленные группой дерматологов, имитируя ИИ, который всегда соответствует эталонным данным.
Дизайн исследования включал 3 группы, в том числе отрицательный контроль с доступом к ИИ и положительный контроль (Волшебник страны Оз), у которого «идеальные прогнозы» совпадали с истинными данными.
Мы обнаружили, что помощь ИИ обеспечила статистически значимое улучшение понимания потребителями информации. При использовании инструмента ИИ участники были более склонны пытаться назвать показанное состояние (более 62%) по сравнению с контрольной группой, использовавшей стандартные инструменты поиска (41%).
Что еще более важно, точность угадывания названий состояний у участников значительно улучшилась. Точность была почти в три раза выше в группе с использованием ИИ (23%) по сравнению с контрольной группой без помощи (8%). В группе «Волшебник страны Оз» точность была примерно в четыре раза выше (36%), но все еще не достигла совершенства. Наличие «карточек» ИИ для отображения соответствующих состояний также значительно повысило уверенность участников в своих предположениях о состояниях и общее удовлетворение результатами поиска и временем, затраченным на поиск.
Краткое изложение основных результатов . Звездочками отмечены статистически значимые различия. * (Одна звездочка): p < 0,05; ** (Две звездочки): p < 0,01; *** (Три звездочки): p < 0,001. Точность в определении названия заболевания требовала от участника как готовности угадать название заболевания, так и назвать заболевание, соответствующее дифференциальному диагнозу дерматолога (допускаются варианты названия в свободной текстовой форме).
Задача определения дальнейших шагов
Чтобы избежать предписывающих рекомендаций, искусственный интеллект в нашем исследовании был разработан таким образом, чтобы сопоставлять изображения с возможными заболеваниями, полагаясь на пользователя в интерпретации того, что следует делать. Наша цель заключалась в том, чтобы дать пользователям возможность эффективно осуществлять поиск, а не в предписывающих или диагностических рекомендациях. Кроме того, предлагаемое лечение и информация были написаны дерматологами, имеющими доступ к авторитетным источникам, основываясь исключительно на названии заболевания и не учитывая конкретную степень тяжести заболевания в данном случае.
Возможно, из-за обобщающего характера предоставленной информации, принятие решения о соответствующих дальнейших медицинских шагах, таких как использование домашних средств или назначение срочного визита в клинику, оставалось сложной задачей для пользователей. Наше исследование показало, что, хотя точность определения дальнейших шагов немного повысилась в группе «Волшебник страны Оз» (63,5% против 60% в контрольной группе), в группе со стандартным ИИ статистически значимого улучшения не наблюдалось. Кроме того, участники группы с ИИ несколько чаще предлагали менее срочные дальнейшие действия, чем это сделал бы дерматолог, по сравнению с контрольной группой (30% против 27%).
Это подтверждает, что простого выявления заболевания недостаточно. Необходимо продолжать работу над разработкой инструментов, которые лучше информировали бы непрофессионалов о наиболее безопасных и подходящих дальнейших действиях.
Вовлечение сообществ для получения более качественной обратной связи
Хотя крупномасштабные социологические исследования бесценны для понимания общих тенденций, мы также осознавали необходимость понимания того, как люди интерпретируют информацию, когда она непосредственно касается их собственных проблем, а не как они интерпретируют картины положения других людей. Чтобы получить более полную и тонкую обратную связь, мы стремились получить глубокие качественные данные непосредственно от сообществ, которые больше всего выиграют от использования этих инструментов.
В статье «Решение проблем с кожей с помощью ИИ: человекоцентрированное исследование дерматологического приложения в разнообразном сообществе», опубликованной в прошлом году на конференции ACM Computer-Human Interaction (CHI), мы сотрудничали с группой прикладных исследований в области ИИ в здравоохранении Стэнфордского университета (HEA3RT) и программой медицинского страхования Santa Clara Family Health Plan (SCFHP). SCFHP обслуживает членов окружающего сообщества, многие из которых полагаются на систему медицинского страхования Medi-Cal. Наша цель состояла в том, чтобы изучить, как участники из разных групп населения, давшие согласие на участие и имеющие активные проблемы с кожей, фактически использовали информацию от системы ИИ для оценки состояния кожи и реагировали на нее в реальных условиях.
Крайне важно было убедиться, что мы создаём приложение для этого сообщества; поскольку участники говорили на четырёх основных языках, приложение с использованием ИИ было переведено на их соответствующие языки. Для облегчения общения также присутствовали волонтеры или сотрудники, свободно владеющие соответствующим языком.
Скриншоты исследовательского приложения , представленные на четырех разных языках.
В этом исследовании, проведенном в реальных условиях, 110 участников, давших согласие на участие, использовали приложение (и сразу же после этого проконсультировались с врачом для уточнения любых вопросов). Как и в упомянутом выше исследовании, использование приложения повысило способность участников называть свое заболевание (увеличение на 260%, хотя общий процент правильных ответов был низким). Участники в значительной степени полагались на визуальное сопоставление изображений из учебника со своим заболеванием, что подчеркивает важность наличия изображений с различными оттенками кожи, тяжестью заболевания и частями тела, чтобы помочь им «сопоставить образы».
Врачи, участвовавшие в исследовании, в целом (86%) считали, что прогнозы приложения соответствуют их собственным оценкам состояния. Поскольку участники могли открывать приложение во время консультации с врачом, врачи также могли использовать его в качестве общей точки отсчета для обсуждения и способствовать общению между пациентом и врачом. Врачи сообщили, что приложение было полезным инструментом в 92% случаев.
Выводы
Наши исследования, описанные выше, были сосредоточены на использовании искусственного интеллекта на основе изображений, чтобы помочь людям с различным жизненным опытом лучше понимать кожные заболевания. Ключевые выводы для возможных улучшений включают предоставление большего количества «классических» примеров для лучшего понимания пользователем и сопоставления шаблонов, а также включение более конкретной информации, относящейся к реальному запросу пользователя (а не к заболеваниям). Кроме того, наши исследования с использованием инструментов, основанных на сходстве изображений, подтверждают, что подход к поиску информации о кожных заболеваниях с помощью ИИ, сочетающий изображения и текст (т.е. мультимодальный подход), предпочтительнее для непрофессионалов, чем использование только одного из этих подходов.
Если рассматривать все эти исследования в совокупности, вырисовывается потенциальная картина будущего поиска информации о кожных заболеваниях. Визуальное представление информации снижает порог входа, а более персонализированные рекомендации на основе ИИ могут помочь ориентироваться в сложной медицинской информации. Однако для создания высокоэффективных инструментов необходимы непрерывные исследования, ориентированные на человека, чтобы гарантировать, что каждый сможет эффективно интерпретировать эту информацию и оказывать поддержку в процессе лечения.
Благодарности
Мы благодарим Элис Бэгли, Тревора Кроуэлла, Бхавну Дарьяни, Хуй Доана, Моргана Ду, Мэдисон Эллиотт, Беа Эриксон, Мэта Флека, Зои Ган, Тамми Хуинь, Йетунде Ибитойе, Йеджин Чжон, Серхио Маркеса, Джея Наяра, Киру Нгуен, Транг Нгуен, Хавьера Переса, Каролу Понсе, Уриэля Риверу, Санни Вирмани, Рене Вонг и Аллана Исунзу за их вклад в проведение исследований с использованием смешанных методов; а также Майкла Хауэлла, Нааму Хаммел, Раджива Рикхье, Аби Джонс и Дэйва Штайнера за ценные замечания по статьям.
Источник: research.google
