Преимущества использования искусственного интеллекта в медицине зависят от уровня подготовки…

Преимущества использования искусственного интеллекта в медицине зависят от уровня подготовки пользователя.

Исследование показало, что неспециалисты полагались на диагностическую помощь, основанную на LLM, даже когда она была ошибочной, в то время как врачи выявляли ошибки ИИ. Телефон: 617-253-2709 MIT News Office Новое исследование Массачусетского технологического института показало, что неспециалисты склонны доверять диагностическим рекомендациям, сгенерированным ИИ, — даже если они неверны, — в то время как врачи чаще распознают ошибки ИИ. Источник: iStock Универсальный подход, вероятно, не является лучшей стратегией при разработке систем искусственного интеллекта, помогающих пользователям в диагностике заболеваний.

Новое исследование, проведенное учеными из Массачусетского технологического института и других учреждений, показало, что, хотя помощь ИИ в целом повысила точность диагностики кожных заболеваний как для неспециалистов, так и для врачей, методы объяснимости ИИ оказывали различное воздействие в зависимости от уровня знаний пользователей.

Методы объяснимого ИИ помогают пользователям понять, когда можно доверять прогнозам модели, описывая или подтверждая процесс принятия решений моделью. Например, модель может использовать тепловую карту для выделения областей изображения, наиболее важных для диагностики, или большую языковую модель (LLM) для объяснения прогноза простым языком.

В этом исследовании ученые протестировали неспециалистов и врачей общей практики на способность диагностировать заболевания кожи с помощью различных систем объяснимого искусственного интеллекта и без них.

Они обнаружили, что точность диагностики у неспециалистов повысилась, но это в значительной степени было связано с доверием к системе искусственного интеллекта. Неспециалисты доверяли объяснениям, основанным на LLM, независимо от того, были ли они правильными или нет, и находили объяснения более убедительными, когда они были расплывчатыми или общими.

Напротив, врачи не сталкивались с ошибками, вызванными неверной помощью ИИ, и показывали наилучшие результаты, когда им предоставлялся только прогноз модели без каких-либо пояснений.

«Хорошие системы искусственного интеллекта могут повысить эффективность в некоторых областях здравоохранения, но это необходимо тщательно сбалансировать с алгоритмической предвзятостью, которая может привести к увеличению количества ошибок. Мы знаем, что как ИИ, так и методы объяснимости могут вызывать у людей предвзятость автоматизации, и этот эффект привязки необходимо учитывать при проектировании систем ИИ», — говорит Марзие Гассеми, доцент кафедры электротехники и компьютерных наук (EECS) Массачусетского технологического института, член Института медицинской инженерии и науки, а также ведущий исследователь в Лаборатории информационных и систем принятия решений и Клинике машинного обучения в здравоохранении им. Абдула Латифа Джамиля.

«Эти результаты важны, поскольку пациенты все чаще обращаются к ИИ за помощью в вопросах здравоохранения. Наши выводы показывают, что люди с наименьшими медицинскими знаниями чаще всего вводятся в заблуждение, когда объяснимые модели ИИ выдают ошибочные результаты», — говорит Роксана Данешджу, соавтор и доцент кафедры биомедицинской науки о данных и дерматологии Стэнфордского университета.

Исследователи отмечают, что эти результаты подчеркивают важность создания систем искусственного интеллекта с учетом потребностей пользователей и разработки методов объяснимости, которые способствуют критическому мышлению, а не чрезмерной зависимости от модели.

«Становится очевидно, что мы не можем просто предполагать, что хороший ИИ решит все проблемы. Нам необходимо уделять пристальное внимани…

Источник: ideipro.ru