Узнайте больше о нашем исследовательском прототипе — персональном медицинском агенте на базе LLM, который анализирует данные с обычных оздоровительных устройств в сочетании с данными о здоровье, такими как биомаркеры крови, чтобы предоставлять научно обоснованные рекомендации по здоровью и обеспечивать персонализированное консультирование.
Быстрые ссылки
- Бумага
- Делиться
Быстрое развитие больших языковых моделей (LLM) в сочетании с данными, получаемыми с помощью носимых устройств, открывает революционные возможности для расширения возможностей людей на пути к улучшению их личного здоровья. Однако потребности в области здоровья различаются от человека к человеку. Ответ на конкретный вопрос, например: «В среднем, сколько часов я спал в течение последнего месяца?», требует иных навыков, чем ответ на открытый вопрос, например: «Что я могу сделать, чтобы улучшить качество своего сна?». Одной системе может быть сложно справиться с этой сложностью.
Для решения этой задачи мы используем человекоцентрированный подход и предлагаем Персонального Агента здоровья (PHA). Этот агент представляет собой комплексную исследовательскую структуру, способную анализировать мультимодальные данные для предоставления персонализированных, основанных на доказательствах рекомендаций. Используя многоагентную архитектуру, PHA деконструирует поддержку личного здоровья и благополучия на три основные роли (специалист по данным, эксперт в предметной области и тренер по здоровью), каждая из которых выполняется специализированным субагентом. Для оценки каждого субагента и многоагентной системы мы использовали реальный набор данных из исследования, одобренного этическим комитетом, в котором около 1200 пользователей дали информированное согласие на обмен данными с носимых устройств Fitbit, анкетой о здоровье и результатами анализов крови. Мы провели автоматизированную и ручную оценку по 10 эталонным задачам, включающим более 7000 аннотаций и 1100 часов работы экспертов в области здравоохранения и конечных пользователей. Наша работа представляет собой наиболее всестороннюю оценку агента здоровья на сегодняшний день и закладывает прочную основу для футуристического видения персонального агента здоровья, доступного каждому.
Данная работа представляет собой концептуальную основу для исследовательских целей и не должна рассматриваться как описание какого-либо конкретного продукта, услуги или функции, находящихся в настоящее время в разработке или доступных для широкой публики. Любое практическое применение будет подлежать отдельному процессу проектирования, проверки и анализа.
воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
Иллюстрация внутренних функций персонального медицинского агента (PHA), позволяющих ему удовлетворять индивидуальные потребности в области здоровья.
Дизайн, ориентированный на пользователя и учитывающий индивидуальные потребности в области здоровья.
Чтобы создать агента, действительно отвечающего этим разнообразным потребностям, мы начали с процесса проектирования, ориентированного на пользователя. Мы обобщили информацию, полученную из более чем 1300 реальных запросов о здоровье из онлайн-источников, таких как форумы о здоровье, данные опросов более чем 500 пользователей и семинар с участием экспертов в области дизайна и инженерии. Это исследование выявило четыре критически важные области, в которых людям необходима поддержка: понимание общих тем, касающихся здоровья, интерпретация личных данных, получение практических рекомендаций по здоровому образу жизни и оценка симптомов. Эти выводы позволили нам разработать систему PHA, которая напоминает команды экспертов, включающие специалистов по анализу данных, экспертов в предметной области и персональных тренеров по здоровью.
Процесс, ориентированный на пользователя, для выявления критически важных пользовательских сценариев.
Оценка предложенной нами системы
Для проверки нашей системы мы разработали целостную многоуровневую систему оценки. Сначала мы сравнили каждый отдельный субагент по его уникальным основным возможностям с современной моделью LLM в качестве базовой модели, а затем оценили общую эффективность полностью интегрированной системы PHA. В таблице ниже представлена наша комплексная оценка, которая включала как автоматизированные, так и обширные оценки, проведенные людьми, по 10 эталонным задачам, с участием более 1100 часов работы как конечных пользователей, так и экспертов в области здравоохранения для оценки производительности в реалистичных многомодальных диалогах.
Описание нашей всесторонней оценки отдельных суб-агентов и окончательной версии системы персональных медицинских агентов (PHA).
Специалист по анализу данных: персональный аналитик данных
Первый специалист — это агент анализа данных (DS), который анализирует персональные данные временных рядов с носимых устройств, а также данные о здоровье, такие как биомаркеры крови, для предоставления контекстуализированных числовых данных. Агент анализа данных строится на основе базовой модели (например, Gemini) и дополняется двухэтапным модулем анализа данных: Этап 1) интерпретация недостаточно конкретизированных и неоднозначных запросов пользователей (например, «Становлюсь ли я более подтянутым в последнее время?»), и Этап 2) преобразование их в надежные планы статистического анализа. Затем он генерирует и выполняет код для получения статистически достоверного, основанного на данных ответа.
Мы разработали два эталонных теста для автоматической оценки каждого этапа рабочего процесса агента DS. На первом этапе, планировании анализа, мы использовали автоматический оценщик, обученный на 354 планах анализа запросов, составленных 10 экспертами в области анализа данных. На основе подробной оценочной шкалы, учитывающей такие параметры, как достаточность данных, статистическая достоверность и соответствие запросу пользователя, наши оценки показали, что агент DS значительно превосходит базовую модель в создании высококачественных планов анализа (достигнув 75,6% против 53,7% у базового варианта). На втором этапе, генерации кода, результаты работы агента были сопоставлены со 173 строгими модульными тестами, написанными экспертами в области анализа данных. Это подтвердило, что агент более надежен в генерации точного, исполняемого кода, используемого для получения аналитических данных из временных рядов данных с носимых устройств.
Агент DS: Результаты оценки плана анализа данных, сгенерированного агентом DS и базовой моделью по шести измерениям, по оценке специалистов по анализу данных и автоматизированных оценщиков.
Эксперт в своей области: обоснованные, заслуживающие доверия знания.
Далее следует агент-эксперт в предметной области (DE), который выступает в качестве надежного источника знаний о здоровье и благополучии. В такой важной области, как здоровье и благополучие, обеспечение точности и достоверности информации имеет решающее значение. Агент-эксперт улучшает базовую модель, используя многоступенчатую систему рассуждений и набор инструментов, включающий доступ к авторитетным источникам, таким как база данных Национального центра биотехнологической информации (NCBI), чтобы обосновывать свои ответы проверяемыми фактами . Он превосходно адаптирует информацию к конкретному профилю пользователя, например, к уже существующим заболеваниям. Мы разработали два теста автоматической оценки для проверки медицинских знаний агента-эксперта (один оценивает его производительность при решении вопросов для сертификационных и коучинговых экзаменов, а другой — для предоставления точной дифференциальной диагностики). Мы также разработали два теста оценки человеком (один для врачей и один для потребителей), чтобы измерить возможности агента-эксперта в области персонализации и многомодального мышления. Наш агент-эксперт неизменно превосходит базовую модель по всем тестам. Например, врачи оценили сводные данные о состоянии здоровья, полученные с помощью агента DE, как значительно более клинически значимые и полезные, а конечные пользователи сочли его ответы существенно более персонализированными и заслуживающими доверия.
Агент DE: Результаты оценки многомодального мышления агента DE и базовой модели по семи клиническим параметрам, по оценке клинических экспертов.
Агент по здоровому образу жизни: руководство в изменении поведения
Третий специалист — это агент-коуч по здоровью (HC), предназначенный для поддержки пользователей в постановке целей и формировании устойчивых изменений в поведении посредством многоэтапных диалогов. Эффективный коучинг требует тонкого баланса между сбором информации и предоставлением практических рекомендаций. Агент-коуч по здоровью использует модульную архитектуру, вдохновленную проверенными психологическими стратегиями (например, мотивационным интервьюированием ), чтобы управлять этой динамикой, что приводит к более естественному и эффективному взаимодействию. Мы оценили производительность агента-коуча по здоровью в двух вариантах оценки: с участием конечных пользователей и с участием экспертов по коучингу в области здоровья, оценивая возможности нашей модели по нескольким ключевым параметрам. При оценке конечными пользователями мы сосредоточились на опыте общения, эффективности, ориентированной на достижение целей, и мотивационной поддержке. При оценке экспертами мы оценивали соответствие профессиональным принципам коучинга, качество рекомендаций и авторитетность агента. Оба аспекта оценки показывают, что агент-коуч по здоровью значительно превосходит базовый вариант , что подчеркивает ключевой вывод нашего исследования: для агентов-коучей пользователи отдают приоритет основной компетенции и способности предоставлять практические рекомендации.
Агент HC: Результаты оценки опыта коучинга агента HC и базовой модели по шести параметрам, проведенной экспертами в области здоровья человека и коучинга.
Персональный агент по вопросам здоровья (PHA): команда, работающая в сотрудничестве.
Хотя каждый агент сам по себе обладает большой мощностью, истинный потенциал раскрывается при их совместной работе. Платформа Personal Health Agent (PHA) объединяет этих трех специалистов в сплоченную команду, управляемую интеллектуальным оркестратором. Когда пользователь задает вопрос, оркестратор анализирует его потребности, динамически назначает «основного» агента и «вспомогательных» агентов, а также обеспечивает итеративный рабочий процесс, включающий сотрудничество, анализ и обновление памяти, для синтеза единого, всеобъемлющего ответа.
воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
Технический анализ агентов DS, DE и HC с их объединением в агент персонального здоровья (PHA).
Этот подход, основанный на сотрудничестве, значительно превзошел сумму своих составляющих. В ходе обширных оценок критериев, оценивающих способность агентов синтезировать персональные данные о здоровье, чтобы помочь пользователям отвечать на вопросы о здоровье и благополучии, а также достигать личных целей в области здоровья, как конечные пользователи, так и эксперты в области здравоохранения отдали предпочтение PHA перед (i) мощной системой с одним агентом, которая также основана на базовой модели, использующей инструменты для выполнения трех ролей в рамках одной конфигурации агента, и (ii) параллельной многоагентной базовой системой, которая включает тех же агентов DS, DE и HC, но просто вызывает все три агента и синтезирует их результаты без динамической координации. И конечные пользователи, и эксперты в большинстве случаев оценили PHA как лучшую систему в целом. Это наглядный пример того, как ценность имитации структуры сотрудничества команд экспертов-людей является ключом к предоставлению действительно полезной поддержки.
PHA: Результаты оценки ответов, полученных в ходе исследования PHA и других базовых показателей, оцененные экспертами.
PHA: Результаты ранжирования ответов, полученных с помощью PHA и других базовых показателей, оцененные экспертами.
Будущее интеллектуальных персональных медицинских устройств
Создание систем искусственного интеллекта, способных интерпретировать сложные данные о здоровье и самочувствии и предоставлять практические рекомендации по поддержанию здоровья, долгое время оставалось сложной задачей в этой области. Наше исследование предлагает проверенную концептуальную модель для разработки следующего поколения систем ИИ для персонального здоровья, выступая за переход от монолитных моделей к модульным, основанным на сотрудничестве системам, которые являются более надежными, согласованными и полезными.
Источник: research.google
