К пассивному мониторингу здоровья сердца с помощью камеры смартфона

Мы представляем исследовательскую систему, которая пассивно измеряет частоту сердечных сокращений и частоту сердечных сокращений в состоянии покоя с помощью видеозаписи лица, сделанной фронтальной камерой во время повседневного использования смартфона.

Быстрые ссылки

• Бумага
• Набор данных и предварительно обученная модель
• Делиться
  • Скопировать ссылку ×

Частота сердечных сокращений (ЧСС), один из важнейших показателей жизненно важных функций, является динамическим индикатором физиологического состояния, на который влияют самые разные факторы, от физической активности и стресса до острых и хронических заболеваний. Кроме того, частота сердечных сокращений в состоянии покоя (ЧСС в покое) является ключевым биомаркером сердечно-сосудистого здоровья и долгосрочного риска для здоровья. Более высокая ЧСС в покое и её увеличение с течением времени связаны с серьёзными неблагоприятными сердечно-сосудистыми событиями и смертностью от всех причин.

Носимые устройства, такие как Fitbit и Pixel Watch, позволили отслеживать эти показатели здоровья на протяжении всей нашей повседневной жизни. Однако есть возможности для расширения их использования, особенно в условиях ограниченных ресурсов и среди тех, кто подвержен наибольшему риску сердечно-сосудистых заболеваний. Смартфоны предоставляют уникальную возможность расширить доступ к отслеживанию состояния здоровья — сегодня около пяти миллиардов человек уже владеют устройствами с мощными датчиками, способными контролировать их здоровье. В 2022 году мы продемонстрировали использование смартфонов для измерения частоты сердечных сокращений по запросу с помощью пальца, приложенного к камере, а последующие исследования Google рассматривали, как сигнал, обнаруженный во время этого измерения, может помочь прогнозировать сердечно-сосудистые заболевания.

В статье «Пассивный мониторинг сердечного ритма во время использования смартфона в повседневной жизни», опубликованной в журнале Nature , мы представляем исследовательскую систему (PHRM), которая позволяет отслеживать ЧСС и ЧСС в состоянии покоя в фоновом режиме во время повседневного использования смартфона. PHRM использует фронтальную камеру для записи видео лица пользователя в течение нескольких секунд после разблокировки по лицу. Затем она применяет глубокое обучение для оценки ЧСС со средней абсолютной процентной ошибкой (MAPE) < 10% по сравнению с эталонными данными, полученными с помощью электрокардиограммы, что соответствует отраслевым стандартам точности для людей с любым цветом кожи. Наконец, система интегрирует измерения ЧСС в течение дня в оценку ежедневной ЧСС в состоянии покоя, которая соответствует точности носимых устройств, со средней абсолютной ошибкой (MAE) < 5 ударов в минуту (уд/мин) по сравнению с носимым трекером. Вместе с нашей публикацией мы предоставляем в открытый доступ самый большой и разнообразный набор данных видео со смартфонов, доступных для исследований, а также предварительно обученную модель «PHRM-mini». Квалифицированные исследователи могут подать заявку на доступ.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Технологический прорыв, созданный для всех.

Подобно носимым устройствам, пульсоксиметрам и нашим предыдущим работам, PHRM измеряет ЧСС с помощью фотоплетизмографии (ФПГ), то есть, регистрируя колебания взаимодействия света с кожей каждый раз, когда кровь проходит через нее. Мы разработали программный конвейер, работающий непосредственно на устройстве, который обрабатывает 8-секундные видеоролики с изображением лица и использует вычислительно эффективные сверточные нейронные сети с временным сдвигом для прогнозирования ЧСС вместе с оценкой достоверности. Конвейер дополнительно агрегирует прогнозы ЧСС за день и использует оценки достоверности и фильтр Калмана для оценки суточной ЧСС в состоянии покоя.

Конвейер обработки данных PHRM для оценки ЧСС и суточной ЧСС в состоянии покоя по видеозаписям лица пользователя.

Хотя модели компьютерного зрения для таких «дистанционных» фотоплетизмографических (rPPG) существуют уже два десятилетия, предыдущие работы включали небольшие исследования в контролируемых условиях, что ограничивало возможность обобщения результатов. Кроме того, в предыдущих исследованиях значительно недопредставлены люди с темной кожей, у которых меланин затрудняет обнаружение сигнала фотоплетизмографии камерами. Только недавно исследователи более тщательно изучили производительность моделей rPPG на участниках исследования с темной кожей, обнаружив значительно более низкую точность — траекторию, аналогичную той, что наблюдалась для пульсоксиметров и других технологий на основе фотоплетизмографии. Опасения по поводу пульсоксиметров побудили FDA разработать руководство, обеспечивающее представление различных оттенков кожи в исследованиях по валидации. До сих пор существует недостаток исследований rPPG, которые бы соответствовали аналогичным стандартам.

Мы разработали PHRM, используя более 350 000 видеороликов от почти 700 участников различных исследовательских групп, давших согласие на участие как в лабораторных, так и в реальных условиях, и, как и в нашей предыдущей работе, уделили больше внимания обучению модели наиболее сложным случаям. Мы использовали колориметрические методы и шкалу оттенков кожи Monk Skin Tone, чтобы гарантировать, что участники со светлой («Группа 1», Monk 1-4) и средней («Группа 2», Monk 5-7) кожей составляли не менее 25% наших наборов данных, а участники с темной («Группа 3», Monk 8-10) кожей составляли не менее 33%. Такой подход к выборке соответствовал когортам оттенков кожи, предложенным позже FDA. Более того, при поддержке команды Google Health Optimization мы разработали критерий не меньшей эффективности, согласно которому MAPE для HR в каждой группе должен отличаться от MAPE в других группах менее чем на 5 процентных пунктов. Благодаря этим усилиям наше исследование PHRM стало самым масштабным и разнообразным исследованием rPPG на сегодняшний день и позволило нам разработать инклюзивные модели, которые точно воспроизводят характеристики кожи во всем спектре оттенков.

Проверка в лабораторных условиях и в реальных условиях.

Мы обучили модель PHRM обрабатывать различные условия в лабораторных исследованиях, записывая видео лица и одновременно данные электрокардиограммы (ЭКГ) от 365 участников исследования с разным освещением и уровнем активности. На отдельном тестовом наборе с участием 104 человек, после фильтрации с минимальным значением достоверности, модель PHRM показала MAPE < 10% для всех групп по тону кожи, несмотря на широкий спектр протестированных условий. PHRM значительно превзошла 15 ведущих опубликованных моделей rPPG на том же тестовом наборе, как до, так и после фильтрации, и была единственной моделью, достигшей MAPE < 10% для всех тонов кожи.

Точность измерения ЧСС с помощью PHRM и современных методов rPPG в ( сверху ) различных лабораторных условиях и ( снизу ) в условиях обычной жизни. Заполненные столбцы показывают MAPE после корректировки доверительного интервала с помощью PHRM; пустые столбцы показывают MAPE без корректировки. Красная пунктирная линия указывает на заранее заданный целевой показатель MAPE < 10%. Погрешности указаны в виде верхних 95% доверительных интервалов.

Для обучения PHRM на реальных данных мы провели первое в своем роде исследование в условиях «свободной жизни». 231 участник, представляющий разные группы населения, установил на свои телефоны специальное приложение для сбора данных и использовал их в обычном режиме в течение восьми дней, нося нагрудный ЭКГ-датчик и фитнес-трекер Fitbit Charge 6. Наше приложение записывало 8-секундные видеоролики и данные ЭКГ сразу после каждого разблокирования лица, фиксируя в среднем 231 видеоролик в день. В конце каждого дня участники вручную и подтверждали разрешение на загрузку на наши защищенные зашифрованные серверы после проверки видеороликов, чтобы убедиться в отсутствии конфиденциального контента и других лиц.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

В ходе нашего исследования, проводимого в условиях повседневной жизни, PHRM записала видео с участием самых разных людей в реальных условиях. Лица участников были в масках в целях обеспечения конфиденциальности.

На выборке из 101 участника для валидации, модель PHRM показала общую среднюю абсолютную ошибку прогнозирования (MAPE) 6,09% после корректировки доверительного интервала, при этом MAPE составили 5,04%, 5,12% и 7,84% для групп 1, 2 и 3 соответственно. Каждая MAPE была значительно меньше 10% и соответствовала нашей заранее установленной цели не меньшей эффективности. Модель PHRM превзошла те же 15 ведущих моделей rPPG с еще большим отрывом в условиях повседневной жизни и осталась единственной моделью, достигшей MAPE < 10% для всех оттенков кожи. Анализ Бланда-Альтмана показал, что модель PHRM недооценивала ЧСС в среднем всего на 0,64 уд/мин, с 95% доверительными интервалами от -11,3 до 10,3 уд/мин; измерения с более высокими показателями достоверности имели меньшие ошибки.

Слева: Диаграмма Бланда-Альтмана, показывающая соответствие между оценкой ЧСС по методу PHRM и оценкой по ЭКГ во время исследования в условиях повседневной жизни. Цвета указывают на степень достоверности прогноза по методу PHRM. Пунктирные линии показывают смещение, нижний и верхний пределы согласования. Справа: Точность оценки ЧСС по методу PHRM для разных оттенков кожи. Диаграммы размаха показывают среднюю абсолютную ошибку прогнозирования (MAPE) для каждого участника. Прямоугольники ограничивают межквартильный размах (IQR), деленный на медиану. Усы простираются на 1,5 × IQR за пределы прямоугольника. Точки за усами представляют собой выбросы. Красная пунктирная линия указывает на заранее заданный целевой показатель MAPE < 10%.

Затем мы применили алгоритм PHRM для оценки ЧСС в состоянии покоя (RHR) для участников, у которых было не менее 20 измерений ЧСС в течение одного или нескольких дней. Для этих 90 участников PHRM успешно оценил ЧСС в состоянии покоя в 73,6% случаев. PHRM RHR продемонстрировал общую среднюю абсолютную ошибку (MAE) 4,39 уд/мин по сравнению с ежедневной ЧСС, измеренной с помощью Fitbit Charge 6, что значительно меньше нашей заранее установленной целевой отметки в 5 уд/мин. Анализ Бланда-Альтмана показал, что PHRM недооценивал ЧСС в состоянии покоя в среднем на 0,1 уд/мин, с 95%-ными пределами согласия от -9,1 до 9,2 уд/мин; ошибка уменьшалась с увеличением количества дней измерений ЧСС в состоянии покоя. Средние абсолютные ошибки (MAE) по группам с разным цветом кожи были значительно меньше 5 уд/мин для всех, кроме группы 3. Однако MAE для всех групп уменьшалась со временем по мере сходимости фильтра Калмана нашего алгоритма оценки ЧСС в состоянии покоя — MAE для группы 3 была значительно меньше 5 уд/мин начиная с третьего дня.

Слева: Диаграмма Бланда-Альтмана, показывающая соответствие между суточным измерением ЧСС в состоянии покоя с помощью пульсометра и носимого устройства. Цвета указывают номер дня с начала измерения ЧСС в состоянии покоя. Пунктирные линии показывают смещение, нижний и верхний пределы соответствия. Справа: Точность измерения ЧСС в состоянии покоя с помощью пульсометра в зависимости от номера дня. Заштрихованные области указывают 95% доверительные интервалы. Красная пунктирная линия указывает на заранее заданный целевой показатель MAE < 5 уд/мин.

Подтверждая обоснованность нашего подхода, мы также обнаружили, что участники с более высокими показателями ЧСС в состоянии покоя, полученными с помощью PHRM, с большей вероятностью имели высокий индекс массы тела (ИМТ) и низкую сердечно-сосудистую подготовленность (низкий VO2max) после учета сопутствующих факторов, что указывает на то, что PHRM правильно отражает направленность сердечно-сосудистого риска.

Outlook

Насколько нам известно, PHRM представляет собой первую крупномасштабную демонстрацию пассивного мониторинга ЧСС и ежедневного мониторинга ЧСС в состоянии покоя во время повседневного использования смартфона. Будучи единственным методом rPPG, отвечающим стандартам точности ЧСС для людей с любым цветом кожи — даже в непредсказуемых условиях реального мира — он устанавливает новый стандарт в этой области. Он также представляет собой первое использование rPPG для оценки ежедневной ЧСС в состоянии покоя, достигая точности, сравнимой с носимыми устройствами, для всех оттенков кожи. Объединив понимание привычек пользователей с передовыми методами глубокого обучения и инклюзивным дизайном, мы разработали систему мониторинга ЧСС на основе смартфона, которая позволяет получать информацию о состоянии здоровья сердца, аналогичную той, что получают носимые устройства. Таким образом, PHRM предоставляет возможность демократизировать преимущества отслеживания состояния здоровья сердца с помощью наших самых распространенных устройств. В более широком смысле, он демонстрирует, как устройства, к которым мы так часто обращаемся, в свою очередь, могут отражать информацию о нашем здоровье.

Хотя система PHRM соответствовала стандартам точности для всех оттенков кожи, показатель успешности измерения ЧСС был ниже для Группы 2 и самым низким для Группы 3, вероятно, из-за сложности обнаружения сигнала ФПГ на более темной коже. В будущем можно было бы изучить оптимизацию экспозиции камеры или запуск дополнительных попыток выборки для повышения показателей успешности измерения. Кроме того, мы наблюдали некоторые аномальные ошибки, вызванные разговорами участников и движениями головы. Улучшенная стабилизация видео могла бы уменьшить эти ошибки, а управление на основе акселерометра могло бы помочь расставить приоритеты для подходящих моментов покоя. Наконец, будущие системы могли бы обеспечить целостность и конфиденциальность данных, требуя аутентификации по лицу и используя безопасную обработку на устройстве.

Для стимулирования дальнейших исследований мы предоставляем наши ключевые данные и ресурсы моделирования квалифицированным исследователям, получившим одобрение Институционального наблюдательного совета (IRB) и отвечающим нашим требованиям по защите данных. Для защиты конфиденциальности участников исследования все видеоматериалы были собраны с одобрения IRB и обработаны в соответствии с явным согласием участников. Данный набор данных предназначен исключительно для некоммерческого использования в исследовательских целях, и исследователям строго запрещено пытаться идентифицировать каких-либо лиц или публично демонстрировать исходные видеоматериалы. Мы приглашаем исследовательское сообщество использовать наши ресурсы для дальнейшего развития нашей работы.

Благодарности

Эта работа представляет собой кульминацию более чем 7-летней работы. Мы благодарим наших соавторов статьи: Шуна Ляо, Паоло Ди Ахилле, Цзяна У, Сильвиу Борака, Джонатана Вана, Синь Лю, Лоуренса Цая, Ючже Яна, Юнь Лю, Дэниела Макдаффа, Хао-Вэй Су, Брента Уинслоу, Анупама Патхака, Марка Малхотру, Шветака Пателя, Джеймса А. Тейлора и Джеймсона К. Роджерса. Мы благодарим ключевых участников, в том числе: Николу Тесловича, Алекса Муна, Джонатана Сюй, Сяося Чжэн, Деррика Викерса, Сэма Мравку, Трейси Гист, Джейсона Гусса, Флоренс Тнг, Цзенинг Чжан, Джули Кэннон, Мехра Кашьяпа, Джасприт Панну, Тиффани Кунг, Минга Джека По, Мэтью Шора, Джастина Тансувана, Ливэнь Чен, Кристо Аланиса Баррера, Ананда Саксену, Джереми Майлза, Мелиссу Моран, Майкла В. Макконнелла, Айвора Хорна, Бенни Аялева, Джонель Сондерс, Джонатана Цая, Хизер Коул-Льюис, Эбони Респресс, Перри Пейна, Камиллу Вуд, Ннамди Эзеаночи, Магдалу Чери и Рича Госсвайлера. Мы благодарны за поддержку в руководстве Лиззи Дорфман, Кэтрин Чоу, Майкла Хауэлла и Грега Коррадо. Особая благодарность Джиэмину Янгу, Джошу Гронди, Кении Мур и Кэти Бартон за вдохновение, которое они внесли в наше исследование о жизни в свободном режиме.

Источник: research.google