Как создать «скромный» ИИ

Группа исследователей под руководством Массачусетского технологического института разрабатывает системы искусственного интеллекта для медицинской диагностики, которые будут более склонны к сотрудничеству и более открыто сообщать о неопределенности. «Мы пытаемся включить людей в эти человеко-ИИ системы, чтобы дать людям возможность коллективно размышлять и переосмысливать, вместо того чтобы иметь изолированных агентов ИИ, которые делают всё. Мы хотим, чтобы люди стали более креативными благодаря использованию ИИ», — говорит Себастьян Андрес Кахас Ордоньес. Изображение: MIT News; iStock

Искусственный интеллект подает большие надежды в оказании помощи врачам в диагностике пациентов и персонализации вариантов лечения. Однако международная группа ученых под руководством Массачусетского технологического института предупреждает, что системы ИИ в их нынешнем виде несут риск направлять врачей в неправильном направлении, поскольку они могут чрезмерно самоуверенно принимать неверные решения.

По мнению исследователей, один из способов предотвратить подобные ошибки — запрограммировать системы искусственного интеллекта на большую «скромность». Такие системы будут сообщать о случаях, когда они не уверены в своих диагнозах или рекомендациях, и будут побуждать пользователей собирать дополнительную информацию, если диагноз вызывает сомнения.

«Сейчас мы используем ИИ как оракула, но мы можем использовать ИИ и как наставника. Мы могли бы использовать ИИ в качестве настоящего второго пилота. Это не только расширит наши возможности по поиску информации, но и повысит нашу способность связывать разрозненные факты воедино», — говорит Лео Энтони Сели, старший научный сотрудник Института медицинской инженерии и науки Массачусетского технологического института, врач Медицинского центра Бет Израэль Диконесс и доцент Гарвардской медицинской школы.

Сели и его коллеги разработали структуру, которая, по их словам, может помочь разработчикам ИИ в проектировании систем, проявляющих любопытство и смирение. Этот новый подход, как утверждают исследователи, позволит врачам и системам ИИ работать в партнерстве и поможет предотвратить чрезмерное влияние ИИ на решения врачей.

Сели является ведущим автором исследования, опубликованного сегодня в журнале BMJ Health and Care Informatics. Ведущим автором статьи является Себастьян Андрес Кахас Ордоньес, исследователь из MIT Critical Data, глобального консорциума, возглавляемого Лабораторией вычислительной физиологии в рамках Института медицинской инженерии и науки MIT.

Привитие человеческих ценностей

По мнению команды из Массачусетского технологического института, чрезмерно самоуверенные системы искусственного интеллекта могут приводить к ошибкам в медицинской практике. Предыдущие исследования показали, что врачи реанимационных отделений склонны доверять системам ИИ, которые они считают надежными, даже когда их собственная интуиция противоречит рекомендациям ИИ. И врачи, и пациенты с большей вероятностью примут неверные рекомендации ИИ, если те воспринимаются как авторитетные.

Вместо систем, дающих чрезмерно самоуверенные, но потенциально неверные рекомендации, медицинским учреждениям следует предоставить доступ к системам искусственного интеллекта, которые более тесно сотрудничают с врачами, считают исследователи.

«Мы пытаемся включить людей в эти системы «человек-ИИ», чтобы дать людям возможность коллективно размышлять и переосмысливать, вместо того чтобы иметь изолированных агентов ИИ, которые делают всё. Мы хотим, чтобы люди стали более креативными благодаря использованию ИИ», — говорит Кахас Ордоньес.

Для создания такой системы консорциум разработал структуру, включающую несколько вычислительных модулей, которые могут быть интегрированы в существующие системы искусственного интеллекта. Первый из этих модулей требует от модели ИИ оценки собственной уверенности при составлении диагностических прогнозов. Разработанный членами консорциума Янаном Арсланом и Куртом Бенке из Мельбурнского университета, показатель эпистемической добродетели (Epistemic Virtue Score) служит проверкой самосознания, гарантируя, что уверенность системы соответствующим образом скорректирована с учетом присущей каждому клиническому сценарию неопределенности и сложности.

Благодаря такому самосознанию модель может адаптировать свой ответ к ситуации. Если система обнаруживает, что ее уверенность превышает то, что подтверждают имеющиеся данные, она может приостановить работу и отметить несоответствие, запросив конкретные анализы или историю болезни, которые могли бы разрешить неопределенность, или порекомендовав консультацию специалиста. Цель состоит в создании ИИ, который не только предоставляет ответы, но и сигнализирует о том, когда к этим ответам следует относиться с осторожностью.

«Это как если бы у вас был второй пилот, который сказал бы вам, что нужно взглянуть на ситуацию свежим взглядом, чтобы лучше понять этого сложного пациента», — говорит Сели.

Ранее Сели и его коллеги разработали крупномасштабные базы данных, которые можно использовать для обучения систем искусственного интеллекта, включая базу данных Medical Information Mart for Intensive Care (MIMIC) от медицинского центра Beth Israel Deaconess. Сейчас его команда работает над внедрением новой структуры в системы искусственного интеллекта на основе MIMIC и знакомит с ней врачей в системе здравоохранения Beth Israel Lahey.

По словам исследователей, такой подход также может быть реализован в системах искусственного интеллекта, используемых для анализа рентгеновских снимков или для определения оптимальных вариантов лечения пациентов в отделении неотложной помощи, и во многих других областях.

На пути к более инклюзивному ИИ

Это исследование является частью более масштабной работы Сели и его коллег по созданию систем искусственного интеллекта, разработанных людьми, которые в конечном итоге больше всего пострадают от этих инструментов, и предназначенных для них. Многие модели ИИ, такие как MIMIC, обучаются на общедоступных данных из США, что может привести к предвзятости в отношении определенного образа мышления по медицинским вопросам и исключению других точек зрения.

По словам Сели, учет различных точек зрения имеет решающее значение для преодоления потенциальных предубеждений, и каждый член глобального консорциума вносит свой уникальный вклад в более широкое коллективное понимание.

Еще одна проблема существующих систем искусственного интеллекта, используемых для диагностики, заключается в том, что они, как правило, обучаются на электронных медицинских картах, которые изначально не предназначались для этой цели. Это означает, что данным не хватает контекста, который был бы полезен для постановки диагнозов и выработки рекомендаций по лечению. Кроме того, многие пациенты никогда не попадают в эти наборы данных из-за отсутствия доступа, например, люди, живущие в сельской местности.

На семинарах по анализу данных, проводимых MIT Critical Data, группы специалистов по анализу данных, медицинских работников, социологов, пациентов и других участников совместно работают над разработкой новых систем искусственного интеллекта. Перед началом работы всем предлагается задуматься о том, охватывают ли используемые данные все факторы, влияющие на прогнозируемое значение, чтобы случайно не закодировать существующие структурные неравенства в своих моделях.

«Мы заставляем их подвергать сомнению набор данных. Уверены ли они в своих обучающих и валидационных данных? Считают ли они, что некоторые пациенты были исключены, непреднамеренно или намеренно, и как это повлияет на саму модель?» — говорит он. «Конечно, мы не можем остановить или даже отсрочить развитие ИИ не только в здравоохранении, но и во всех секторах. Но мы должны быть более обдуманными и взвешенными в том, как мы это делаем».

Исследование было профинансировано в рамках Бостонско-корейского инновационного исследовательского проекта при поддержке Корейского института развития здравоохранения.

Источник: news.mit.edu