Мы представляем guardrailed-AMIE (g-AMIE), диагностический ИИ, разработанный для сбора анамнеза. g-AMIE работает с ограничением, которое запрещает ему давать индивидуальные медицинские рекомендации, вместо этого генерируя краткое резюме для ознакомления лечащим врачом.
Быстрые ссылки
- Бумага
- Делиться
Недавние исследования показали, что Articulate Medical Intelligence Explorer (AMIE), наша исследовательская система искусственного интеллекта для медицинского анализа и диагностического диалога, может предоставлять точные медицинские рекомендации в текстовых симуляциях посещений пациентов. Однако индивидуальные диагнозы и планы лечения пациентов являются регулируемой деятельностью и должны быть рассмотрены и одобрены лицензированными медицинскими специалистами до любого общения с пациентом. В то же время, надзор является устоявшейся парадигмой в медицинской сфере, обеспечивая автономию членам медицинской бригады, в то время как врачи первичной медицинской помощи сохраняют ответственность за лечение пациента. Вдохновленные этим, наши текущие исследования изучают структуру для врачебного надзора за AMIE.
В статье «К ориентированному на врача контролю за разговорным диагностическим ИИ» мы представляем расширение нашей исследовательской системы AMIE, guardrailed-AMIE (g-AMIE), с многоагентной конфигурацией на основе Gemini 2.0 Flash. g-AMIE может собирать информацию о пациенте (например, анамнез) посредством диалога и генерировать набор данных для анализа врачом. Это включает в себя сводку собранной информации, предлагаемый дифференциальный диагноз и план лечения, а также черновик сообщения для пациента. Мы разработали g-AMIE с ограничениями, которые не позволяют ей делиться какими-либо индивидуальными медицинскими рекомендациями, то есть диагнозами или планами лечения, адаптированными к конкретному пациенту. Эта информация проверяется и может быть отредактирована лечащим врачом через специально разработанный веб-интерфейс, называемый « клинической панелью» . Разделение сбора анамнеза и принятия медицинских решений позволяет лечащему врачу асинхронно просматривать случаи. В ходе рандомизированного, слепого, виртуального объективного структурированного клинического обследования (ОСКЭ) мы сравнили производительность g-AMIE с работой медицинских сестер, помощников врачей и врачей общей практики, работающих в условиях одинаковых ограничений. Мы обнаружили, что диагностическая эффективность и планы лечения g-AMIE были предпочтительнее для врачей общей практики и независимых врачей-оценщиков. Кроме того, сообщения g-AMIE для пациентов были предпочтительнее для актеров-пациентов. Хотя это представляет собой важную веху на пути к сотрудничеству человека и ИИ в рамках AMIE, результаты следует интерпретировать с осторожностью, особенно при сравнении с клиницистами. Рабочий процесс был разработан с учетом уникальных характеристик систем ИИ, тогда как клиницисты не были обучены работе в этих рамках.
Асинхронная система контроля. 1. Группа g-AMIE, а также контрольные группы NP/PA и PCP проводят сбор анамнеза в рамках установленных ограничений, воздерживаясь от предоставления индивидуальных медицинских рекомендаций. 2. Группа g-AMIE и контрольные группы составляют дифференциальные диагнозы (ДД) и планы лечения. 3. Врач-контролер пересматривает ДД и план лечения для обеспечения безопасности пациента и подотчетности. 4. Врач-контролер передает пациенту пересмотренное сообщение. «g-PCP» и «g-NP/PA» обозначают поставщиков медицинских услуг, работающих в рамках тех же ограничений, что и g-AMIE.
Панель управления для врача, осуществляющего надзор.
Для обеспечения контроля со стороны врача, g-AMIE формирует подробную медицинскую карту, которая затем просматривается лечащим врачом с помощью нашего интерфейса для клиницистов, разработанного нами в рамках совместного исследования с 10 врачами амбулаторных отделений. Совместное проектирование проводилось посредством полуструктурированных интервью с потенциальными пользователями и тематического анализа для выявления ключевых компонентов, после чего результаты были переданы дизайнеру пользовательского интерфейса для разработки дизайна интерфейса. Интерфейс основан на широко используемом формате SOAP, который включает подразделы для субъективной оценки (точка зрения пациента на свое состояние), объективной оценки (наблюдаемые и измеримые данные о пациенте, такие как показатели жизненно важных функций или лабораторные данные), оценки (дифференциальный диагноз с обоснованием) и плана (стратегия лечения).
Наша интерактивная панель управления для врачей, созданная по образцу формата записей SOAP.
Сбор анамнеза и составление медицинских записей.
Для того чтобы g-AMIE соблюдала свои ограничения во время сбора анамнеза и генерировала высококачественные и точные записи SOAP, мы разработали многоагентную систему, состоящую из диалогового агента, агента, контролирующего сбор анамнеза, и агента, генерирующего записи SOAP. Диалоговый агент отвечает за высококачественный сбор анамнеза в три этапа: (1) общий сбор анамнеза, (2) целенаправленная проверка первоначального дифференциального диагноза и (3) заключительный этап, отвечающий на вопросы пациента. Агент, контролирующий сбор анамнеза, проверяет, что каждый ответ диалогового агента не содержит индивидуальных медицинских рекомендаций, перефразируя ответы по мере необходимости. Агент, генерирующий записи SOAP, выполняет последовательную многоэтапную генерацию, разделяя задачи обобщения (субъективные и объективные) от задач вывода (оценка и план) и от генерации сообщений для пациента.
A. g-AMIE проводит сбор анамнеза с помощью трехэтапного диалогового агента, включающего общий сбор анамнеза, проверку дифференциального диагноза с помощью целевых вопросов и предоставление пациенту возможности задавать вопросы; каждый ответ проверяется с помощью агента-контролера, чтобы гарантировать, что g-AMIE не предоставляет персонализированных медицинских рекомендаций. B. Для генерации медицинской записи g-AMIE использует последовательный многоэтапный подход для создания всех разделов формата SOAP-записи вместе с сообщением для пациента. [Нажмите, чтобы увеличить изображение ]
Рандомизированное исследование OSCE
Мы провели виртуальное исследование в формате OSCE (ОСКЭ) для оценки эффективности работы g-AMIE на основе 60 сценариев, разработанных лабораторией ОСКЭ. В исследовании участвовали пациенты-актеры, g-AMIE и две контрольные группы: врачи общей практики с опытом самостоятельной практики не более 5 лет и группа медсестер-практиков/помощников врачей. Обеим группам было поручено следовать тем же правилам, что и g-AMIE, а также составлять записи SOAP и сообщения для пациентов после сбора анамнеза. Мы называем эти контрольные группы врачами общей практики, работающими по правилам, и медсестрами-практиками/помощниками врачей, работающими по правилам. На втором этапе группа врачей общей практики, осуществляющих надзор, с опытом работы не менее 5 лет, включая опыт руководства членами медицинской команды, просматривала записи SOAP, вносила правки и либо одобряла (отредактированное) сообщение для пациента, либо решала, что потребуется дополнительная консультация. Наконец, независимые врачи оценивали общее качество стенограммы, записей SOAP и решения врача общей практики, осуществляющего надзор. Актеры, играющие пациентов, курирующие врачей общей практики и независимые эксперты не знали, проводился ли сбор анамнеза группой g-AMIE или контрольной группой. Мы расширили критерии оценки, разработанные в предыдущих работах, оценив качество записей SOAP с использованием модифицированной рубрики QNote и добавив рубрики, специфичные для курирующих групп.
Наше виртуальное исследование OSCE с контролем со стороны экспертной группы состоит из трех этапов: A. Пациенты-актеры взаимодействуют с g-AMIE или контрольной группой во время сбора анамнеза. Записи SOAP создаются или получаются с помощью анкеты после сбора анамнеза. B. Стенограммы и записи SOAP отображаются в нашем кабинете врача для контроля со стороны врачей общей практики, чтобы они могли вносить правки и принимать решение об утверждении (отредактированного) сообщения пациента. C. Независимые эксперты оценивают качество консультаций, включая правки и решения, принятые экспертами, используя различные оценочные критерии. (Нажмите, чтобы увеличить изображение .)
В нашем виртуальном исследовании OSCE система g-AMIE превосходит группы врачей общей практики, медсестер-практиков и помощников врачей, работающих в рамках одного и того же регламентированного рабочего процесса (g-PCPs, g-NP/PAs).
Оценка
Опыт сбора анамнеза, ведения записей SOAP и осуществления надзора.
Мы отметили, что g-AMIE успешно проводит сбор анамнеза в рамках установленных ограничений, при этом ни одна консультация не была оценена как определенно содержащая индивидуальные медицинские рекомендации. Более того, способность g-AMIE получать ключевую информацию от пациента была оценена выше по сравнению с контрольными группами, а записи SOAP, созданные g-AMIE, были оценены как более полные, точные и читабельные. Врачи общей практики, осуществляющие надзор за пациентами, предпочитали контролировать работу g-AMIE и с большей вероятностью принимали сообщения от пациентов, составленные g-AMIE.
A. Безопасность и качество сбора анамнеза, оцененные независимыми врачами, показывают, что g-AMIE соблюдает установленные правила и обеспечивает высококачественный сбор анамнеза. B. Полнота и точность сгенерированных записей SOAP и сообщений для пациентов. C. Действия по контролю и опыт, оцененные курирующим врачом общей практики, показывают, что сообщения для пациентов, полученные с помощью g-AMIE, принимаются в подавляющем большинстве случаев, и что курирующие врачи общей практики предпочитают опыт работы с g-AMIE опыту работы с контрольными группами. Звездочками обозначена статистическая значимость (*: p<0,05, **: p<0,01, ***: p<0,01, ns: не значимо). Нажмите , чтобы увеличить изображение.
Качество диагностики и комплексные показатели эффективности
Мы обнаружили, что сбор анамнеза и медицинские записи в системе g-AMIE приводят к дифференциальным диагнозам и планам лечения, которые оцениваются как более адекватные. Более того, эксперты отметили, что g-AMIE позволяет врачам общей практики чаще принимать обоснованные решения о дальнейшем наблюдении за пациентами, при этом медицинские записи чаще оцениваются как достаточные для дальнейшего лечения.
A. g-AMIE позволяет получать дифференциальные диагнозы и планы лечения, которые более адекватны по сравнению с контрольными группами. B. Оценка комплексной эффективности показывает, что g-AMIE приводит к более адекватным решениям со стороны лечащего врача общей практики (o-PCP) и позволяет получать записи SOAP и сообщения для пациентов, которые чаще оцениваются как достаточные для дальнейшего лечения. Звездочками обозначена статистическая значимость (*: p<0,05, **: p<0,01, ***: p<0,01, ns: не значимо). Нажмите , чтобы увеличить изображение.
Обсуждение и ограничения
Хотя g-AMIE в подавляющем большинстве случаев способен следовать установленным правилам, существуют оговорки и нюансы в классификации индивидуальных медицинских рекомендаций. Наши результаты основаны на одной оценке для каждого случая, несмотря на то, что в предыдущих исследованиях мы наблюдали значительные разногласия между оценщиками. Более того, сравнение с обеими контрольными группами не следует рассматривать как комментарий к их способности следовать предоставленным правилам; врачи общей практики, в частности, не привыкли воздерживаться от предоставления медицинских рекомендаций во время консультаций. Для обеспечения обобщения предложенной нами структуры требуется значительное дальнейшее развитие парадигм контроля со стороны ИИ в реальных условиях.
Хотя в записях SOAP системы g-AMIE в нескольких случаях встречались конфабуляции, мы обнаружили, что такие конфабуляции происходят с той же частотой, что и ошибки в воспоминаниях, как у врачей общей практики, так и у медсестер/ассистентов врачей. Однако следует отметить, что записи g-AMIE значительно более многословны, что приводит к увеличению времени контроля и более высокой частоте правок, направленных на сокращение многословия. В ходе интервью с врачами общей практики, осуществляющими надзор, мы также обнаружили, что контроль требует значительных умственных усилий, что согласуется с предыдущими исследованиями когнитивной нагрузки систем поддержки принятия решений с использованием ИИ.
С другой стороны, мы считаем, что во время сбора анамнеза эта многословность способствует более высоким оценкам g-AMIE за то, как объясняется информация и устанавливается взаимопонимание. Пациенты-актеры и независимые врачи предпочли сообщения пациентов в g-AMIE и проявление эмпатии к пациентам. Эти результаты подчеркивают необходимость дальнейших исследований, направленных на поиск оптимального баланса между многословностью сбора анамнеза, медицинских записей и сообщений пациентов.
Мы также обнаружили, что медсестры и помощники врачей неизменно превосходят врачей общей практики по качеству сбора анамнеза, соблюдению установленных правил и качеству диагностики. Однако эти различия не следует экстраполировать на значимые показатели относительной эффективности в реальном мире. Протестированный рабочий процесс был разработан для изучения парадигмы контроля со стороны ИИ, и обе контрольные группы были предоставлены в первую очередь для контекстуализации эффективности g-AMIE. Никто из них не проходил специального обучения этому рабочему процессу, и он не учитывает ряд реальных профессиональных потребностей. Следовательно, он, вероятно, значительно недооценивает возможности врачей. Более того, привлеченные медсестры и помощники врачей имели больший опыт и, возможно, лучше знакомы с ориентированным на пациента сбором анамнеза. Врачи общей практики, напротив, обучаются явно связывать сбор анамнеза с диагностическим процессом, связывая вопросы с прямой проверкой гипотез, и предложенный рабочий процесс, вероятно, значительно повлиял бы на эффективность их консультаций.
Наконец, актеры, играющие пациентов, не могут в полной мере заменить реальных пациентов, особенно в сочетании с нашими 60 разработанными сценариями. Хотя они охватывают широкий спектр заболеваний и демографических характеристик, они не отражают реальную клиническую практику.
Заключение
Мы представляем парадигму асинхронного контроля за разговорными диагностическими системами искусственного интеллекта, такими как AMIE. Сохраняя разговорные свойства, AMIE может работать в рамках установленных ограничений, осуществляя сбор анамнеза без предоставления индивидуальных медицинских рекомендаций. Последние, включая диагностику и планирование лечения, передаются на рассмотрение лечащему врачу. Это отделяет сбор анамнеза от принятия решений, обеспечивая безопасность пациента, при этом лечащий врач остается ответственным. В виртуальном рандомизированном исследовании OSCE мы показали, что наша система, названная guardrailed-AMIE, может выполнять высококачественный сбор анамнеза, генерацию медицинских записей и приводит к лучшим общим диагностическим решениям по сравнению с врачами общей практики, медсестрами и помощниками врачей, работающими в рамках тех же ограничений. Наши результаты не следует интерпретировать как означающие, что g-AMIE превосходит врачей, не прошедших обучение этому рабочему процессу. Тем не менее, наша работа знаменует собой значительный шаг к созданию основы для ответственного и масштабируемого использования разговорных диагностических систем искусственного интеллекта в здравоохранении.
Благодарности
Описанное здесь исследование — результат совместной работы многих команд Google Research и Google DeepMind. Мы благодарны всем нашим соавторам: Элахе Ведади, Дэвиду Барретту, Натали Харрис, Эллери Вульчину, Шаширу Редди, Роме Рупарел, Майку Шакерманну, Тиму Стротеру, Рютаро Танно, Яшу Шарме, Джихеон Ли, Сиану Хьюзу, Дилану Слэку, Анилу Палепу, Яну Фрейбергу, Халеду Саабу, Валентину Лиевину, Вэй-Хунг Венгу, Тао Ту, Юн Лю, Ненаду Томасеву, Кавите Кулкарни, С. Саре Махдави, Кельвину Гуу, Джоэль Баррал, Дейлу Р. Вебстеру, Джеймсу Маника, Авинатану Хассидиму, Кэтрин Чоу, Йосси Матиасу, Пушмиту Коли, Адаму Родману, Вивеку Натараджану, Алану Картикесалингаму и Дэвиду Штуцу.
Источник: research.google
