Склонность к предвзятости в сфере ИИ в здравоохранении может начинаться с проектирования, а не только с данных | Новости финансового сектора здравоохранения

Системы здравоохранения, оценивающие возможности ИИ, должны выходить за рамки наборов данных и алгоритмов, чтобы понять предположения и приоритеты, заложенные в самих приложениях.

Слева направо: Гил Баше из FINN Partners; Хэл Вольф, президент и генеральный директор HIMSS; и доктор Исаак Кохан из Гарвардской медицинской школы.

Фото: Натан Эдди/HFN HIMSS

ЛАС-ВЕГАС – Применение искусственного интеллекта в здравоохранении часто оценивается по таким критериям, как точность, качество данных и клиническая эффективность. Но не менее важную роль может играть и другой фактор: ценности, заложенные в основу разработки этих инструментов.

В ходе сессии на Глобальной конференции и выставке HIMSS 2026, состоявшейся в среду, Хэл Вольф, президент и генеральный директор HIMSS; доктор Исаак Кохане из Гарвардской медицинской школы; и Ран Балисер, главный директор по инновациям в Clalit Health Services, которые присоединились к сессии по видеосвязи, обсудили, как «ценностное предложение», заложенное в системах искусственного интеллекта, может повлиять на то, как эти инструменты работают в реальных условиях здравоохранения.

Дискуссия, модератором которой выступил Гил Баше из FINN Partners, подчеркнула, почему системам здравоохранения, оценивающим возможности ИИ, необходимо выходить за рамки наборов данных и алгоритмов, чтобы понять предположения и приоритеты, заложенные в самих приложениях.

Все отмеченные примеры показывают, что искусственный интеллект быстро переходит из стадии экспериментов в операционную основу здравоохранения, формируя потоки данных, способы доступа врачей к информации и процессы принятия решений в рамках всей системы здравоохранения.

Однако один из самых больших рисков в сфере искусственного интеллекта в здравоохранении может заключаться не в самих наборах данных или алгоритмах, а в ценностях, заложенных в основу разработки этих инструментов.

Баше начал дискуссию, отметив, что энтузиазм по поводу применения ИИ в здравоохранении быстро растет, но главный вопрос, стоящий перед руководителями, заключается в том, как эти инструменты в конечном итоге изменят систему оказания медицинской помощи.

Технология, которая начиналась как экспериментальная разработка, теперь интегрирована в клинические системы и операционные рабочие процессы, влияя на то, как передается информация и как принимаются решения.

Крупные инвестиции поступают в тот момент, когда системы здравоохранения сталкиваются со старением населения, растущей сложностью клинических случаев и нехваткой кадров. Учитывая, что на здравоохранение приходится примерно пятая часть экономики США, ставки чрезвычайно высоки.

«Искусственный интеллект поднимает новые вопросы об управлении и ответственности за результаты», — сказал Баше, подчеркнув, что это решения, принимаемые руководством, а не чисто технические вопросы.

Кохане предупредил, что медицинские организации сталкиваются с парадоксом при внедрении ИИ: они рискуют одновременно двигаться и слишком медленно, и слишком быстро.

С одной стороны, системы здравоохранения потратили значительное время на обсуждение вопросов безопасности и управления, и многие организации с осторожностью относятся к внедрению ИИ за пределами таких областей, как управление финансовым циклом. Такой медленный темп создал возможность для врачей самостоятельно экспериментировать с внешними инструментами.

«Деструктивные элементы внедряются без оценки и контроля», — сказал Кохане. «Наихудшим результатом будет то, если худшие практики в здравоохранении будут залиты бетоном с помощью ИИ».

Вольф отметил, что ситуация напоминает более ранние этапы внедрения технологий в здравоохранении, включая появление Wi-Fi-подключения в больницах.

В то время врачи часто приносили в медицинские учреждения собственные маршрутизаторы для более удобного доступа к данным, что создавало уязвимости в системе безопасности, которые организациям впоследствии приходилось устранять.

«Потребовалось много времени, чтобы инфраструктура догнала современную», — сказал Вольф. «То же самое происходит и с искусственным интеллектом».

Проблема, добавил он, заключается в том, что спрос на инструменты искусственного интеллекта растет быстрее, чем успевают развиваться государственные структуры.

«Когда существует пробел и спрос, а структурированного управления нет, возникает риск», — сказал Вольф. «Мы должны действовать быстрее из-за критической важности этого вопроса, и мы должны обучить все уровни нашего медицинского сообщества тому, как это использовать».

Балисер отметил, что более серьезную обеспокоенность вызывает возможность несогласованного оказания медицинской помощи в больших масштабах, если системы искусственного интеллекта будут внедрены без тщательной оценки заложенных в них предположений.

«Алгоритмы — это всего лишь мнения, заложенные в коде», — сказал он.

Он отметил, что даже когда организации разрабатывают собственные инструменты, в их основе часто содержатся скрытые ценности, которые трудно обнаружить.

«Нет такого понятия, как нейтральность ИИ, не существует», — сказал Балисер. «В нем заложен определенный набор ценностей, которые от нас скрыты».

Эти заложенные приоритеты могут привести к результатам, противоречащим клиническим или операционным целям организации. Например, даже если система здравоохранения согласовывает приоритеты руководства между клиническими и финансовыми командами, внешняя модель ИИ все равно может оптимизировать работу для достижения других целей.

«Когда мы используем LLM [большую языковую модель] в готовом виде, мы получаем целый набор значений, которые могут полностью не соответствовать нашим намерениям», — сказал Балисер.

Поэтому участники дискуссии подчеркнули, что оценка инструментов искусственного интеллекта должна выходить за рамки проверки точности или показателей производительности.

Это означает, что организации здравоохранения также должны проанализировать предположения, заложенные в самих системах, и инвестировать в системы управления, способные выявлять эти риски на ранних стадиях.

Они предупредили, что без такого контроля ИИ может усугубить существующие проблемы в системах здравоохранения, а не решить их.

Источник: www.healthcareitnews.com