воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
Технология трансферного обучения позволяет осуществлять бесконтактный мониторинг частоты сердечных сокращений с помощью сверхширокополосного радара, открывая путь для ее внедрения в повседневные мобильные электронные устройства.
Потребительские устройства становятся все более функциональными, оснащаясь различными датчиками, полезными для мониторинга физической активности и самочувствия. Несколько лет назад мы запустили функцию мониторинга сна в Nest Hub, которая использовала радарную технологию Soli для анализа режима сна[da2d84], когда устройство находится рядом с кроватью. Совсем недавно мы продемонстрировали, что технология радиолокации с частотной модуляцией непрерывной волны (FMCW), лежащая в основе радарной платформы Soli, может отслеживать жизненно важные показатели, такие как частота сердечных сокращений и частота дыхания, во время сна и медитации полностью бесконтактным способом.
Сегодня в статье «Мониторинг сердечного ритма на основе сверхширокополосного радара: подход с использованием трансферного обучения» мы представляем новое исследование, демонстрирующее, что сверхширокополосная (UWB) технология, уже широко используемая во многих мобильных телефонах, может применяться для измерения сердечного ритма с помощью радара. Хотя UWB широко используется для таких функций, как безопасная разблокировка транспортных средств и точное определение местоположения предметов, её потенциал для радиолокационного обнаружения до сих пор оставался в значительной степени нераскрытым. Мы демонстрируем, как существующее оборудование может быть использовано для мониторинга жизненно важных показателей, таких как измерение частоты сердечных сокращений (ЧСС).
воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
Бесконтактное определение частоты сердечных сокращений с помощью сверхширокополосного радара, аналогичного тому, что используется в современных мобильных телефонах, на основе модели машинного обучения с глубоким обучением.
Радарные датчики доступны в потребительских устройствах.
К числу наиболее перспективных радиолокационных систем для измерения жизненно важных показателей с помощью потребительских устройств относятся системы с миллиметровой частотной модуляцией непрерывного излучения (mm-wave FMCW) и импульсно-радиочастотные сверхширокополосные (IR-UWB) радары. Предыдущие разработки Google в области распознавания сна, движения и жестов на радиолокационной платформе Soli использовали технологию FMCW. Это означало, что у нас уже были обширные наборы данных, исследования и алгоритмы машинного обучения, обученные для этих задач, в том числе для мониторинга частоты сердечных сокращений с использованием радара FMCW.
Между тем, UWB — многоцелевая технология, популярность которой растет и которая все чаще встречается во многих современных моделях мобильных телефонов и других потребительских устройствах, — также предлагает возможности радара. Радарные возможности UWB до сих пор в значительной степени не использовались, и существующие приложения UWB в основном ориентированы на нерадарные задачи, такие как локализация и отслеживание, функции разблокировки транспортных средств или передача данных.
Преодоление трудностей бесконтактного зондирования
Бесконтактное определение частоты сердечных сокращений с помощью радара представляет собой сложную задачу, поскольку мельчайшие движения грудной клетки, вызванные сердцебиением, легко маскируются гораздо более значительными движениями, связанными с дыханием и общими движениями тела. Именно здесь вступает в игру отличительная особенность радиолокационного сигнала. Его пространственное разрешение работает в трех измерениях, используя как расстояние, так и направление для фокусировки измерения. Это позволяет радару определять точную «зону измерения» вокруг туловища человека. В результате он может изолировать отражения, исходящие от области грудной клетки, игнорируя при этом неподвижные фоновые объекты или движения, происходящие за пределами этой зоны. Одновременно высокое временное разрешение позволяет достаточно быстро (до 200 Гц) регистрировать сигнал, чтобы улавливать едва заметные, быстрые движения самого сердцебиения. Мы разработали новый метод, который оптимально использует эти уникальные двухмерные пространственно-временные свойства радиолокационного сигнала для достижения высокоточной оценки частоты сердечных сокращений.
Преодоление разрыва между типами радаров
Мы исследовали возможность переноса характеристик, полученных с помощью радаров с частотной модуляцией миллиметров (FMCW), — где мы располагали большими существующими наборами данных и исследованиями, — на сверхширокополосные (UWB) радары. Эти две радиолокационные системы работают на основе совершенно разных физических принципов. FMCW-радиоволны миллиметрового диапазона передают непрерывную синусоидальную волну, частота которой линейно возрастает со временем, периодически изменяя частотный диапазон, в то время как UWB передают очень короткие импульсы длительностью от нескольких сотен пикосекунд до нескольких наносекунд. Наше исследование — первое, демонстрирующее возможность переноса полученных характеристик между типами радаров для измерения жизненно важных показателей. В качестве начальной задачи мы выбрали частоту сердечных сокращений, учитывая как её высокий потенциал применения, так и сложность задачи.
Архитектура высокого уровня для переноса модели.
Разработка новой модели глубокого обучения для определения частоты сердечных сокращений по данным радара.
Для решения этой задачи мы разработали новую структуру глубокого обучения, предназначенную для моделирования сложных пространственно-временных взаимосвязей в радиолокационных сигналах для оценки ЧСС. Архитектура сначала использует двумерную ResNet для обработки входных данных, где одна ось представляет время, а другая — пространственные измерения. Этот начальный этап предназначен для извлечения признаков из детализированных пространственно-временных паттернов, создаваемых движениями грудной клетки.
После этого шага модель сжимает пространственное измерение с помощью усредняющего пулинга. Полученный набор признаков затем подается на вход одномерной сети ResNet, предназначенной для анализа сигнала исключительно во временном измерении. На этом втором этапе на основе признаков, извлеченных на первом этапе, выявляются более долгосрочные периодические паттерны, характерные для сердцебиения.
При обучении на нашем наборе данных FMCW модель достигает средней абсолютной ошибки (MAE) 0,85 ударов в минуту (уд/мин) для измерения частоты сердечных сокращений. Этот результат представляет собой существенное улучшение по сравнению с предыдущими передовыми результатами на этом наборе данных, снижая предыдущий уровень ошибок вдвое.
Сравнение результатов предыдущих исследований и производительности нашей модели на данных радара FMCW, включая среднюю абсолютную ошибку (MAE) с 95% доверительным интервалом и среднюю абсолютную ошибку точности (MAPE).
Типичный пример результатов ночной сессии на тестовом наборе данных. На верхнем графике показана производительность модели (синий) по сравнению с эталонными данными (оранжевый). На среднем графике показано положение тела, а на нижнем — предполагаемое расстояние пользователя от радара.
Перенос полученных характеристик в сверхширокополосный радар
Затем мы провели исследование, в ходе которого собрали данные сверхширокополосного радара (UWB), а также данные электрокардиограммы (ЭКГ) и фотоплетизмограммы (ФПГ) в качестве эталонных данных для частоты сердечных сокращений, используя установку, в которой датчик UWB-радара располагался в местах, где пользователи обычно держат свои телефоны, то есть на столе перед собой или на коленях. По сравнению с набором данных FMCW, который составлял 980 часов, набор данных UWB-радара был значительно меньше — 37,3 часа. Поскольку конфигурация UWB-радара была близка к тому, что возможно на мобильном телефоне, с гораздо меньшей полосой пропускания, его разрешение по дальности было намного ниже, чем у набора данных FMCW.
Чтобы гарантировать оптимизацию нашей модели для переноса на набор данных UWB, мы переобучили ее после выполнения дополнительных этапов предварительной обработки, чтобы модифицировать данные миллиметрового FMCW-радара и сделать их более похожими на целевые данные IR-UWB, эффективно снизив разрешение по дальности. Затем мы доработали эту модель на наборе данных IR-UWB, достигнув MAE 4,1 уд/мин и средней абсолютной процентной ошибки (MAPE) 6,3%, что на 25% меньше по сравнению с базовым уровнем ошибок. Наш базовый показатель производительности на UWB-радаре составил 5,4 уд/мин MAE и 8,4% MAPE, достигнутый путем выбора лучшей модели, обученной с нуля на нашем наборе данных UWB. Благодаря переносу обучения мы позволили UWB-радару соответствовать стандартам Ассоциации потребительских технологий (CMS) для измерения частоты сердечных сокращений в потребительских устройствах: точность до 5 уд/мин MAE и 10% MAPE.
Сравнение производительности базовой модели и модели переноса обучения на данных ИК-УВЧ радара, включая MAE с 95% доверительным интервалом и MAPE.
Типичные примеры производительности модели (синий) по сравнению с эталонными данными (оранжевый) для трех выбранных участников из тестового набора для сессии, где радар располагался на столе перед участником ( а ) и на коленях участника ( б ).
Обеспечение точности в различных сценариях
Чтобы убедиться в точности и надежности нашей модели, мы проанализировали ее производительность в различных сценариях и условиях использования, зафиксированных в каждом наборе данных. Для обоих типов радаров мы обнаружили, что производительность измерения частоты сердечных сокращений остается стабильной в ситуациях, которые были адекватно представлены. Например, для радара FMCW, который собирал данные во время ночного сна, производительность сохраняется при различных положениях во время сна и даже когда человек меняет положение. Для радара UWB измерение частоты сердечных сокращений одинаково точно для обоих протестированных положений устройства относительно пользователя — на столе перед ним или на коленях. Более подробную информацию об этом анализе подгрупп и других результатах см. в полной версии исследовательской работы.
Общая картина: Ежедневный мониторинг состояния здоровья
Измерение частоты сердечных сокращений полезно для целого ряда применений в области здоровья, фитнеса и хорошего самочувствия, предоставляя фундаментальную информацию о состоянии сердечно-сосудистой системы человека и физиологических реакциях при различных заболеваниях. Эта демонстрация измерения частоты сердечных сокращений может стать шагом к использованию мобильных устройств для измерения еще более сложных и тонких сигналов, отражающихся на состоянии здоровья сердца и крупных кровеносных сосудов.
Хотя носимые устройства, такие как фитнес-браслеты и кольца, популяризировали непрерывный мониторинг здоровья и физической формы, возможность бесконтактного измерения частоты сердечных сокращений с помощью радарных датчиков потребительского класса позволяет распространить преимущества этой технологии на гораздо более широкую аудиторию пользователей смартфонов. В этом исследовании мы сосредоточились на измерении частоты сердечных сокращений во время сна (для FMCW) и на конфигурации, в которой радарный датчик располагался в тех местах, где обычно держат телефон во время использования (UWB). По мере развития технологий непрерывный мониторинг может распространиться на различные повседневные ситуации, органично интегрируясь в повседневную деятельность пользователя.
Что это значит для будущих устройств?
Эта работа приближает нас к возможности бесконтактного измерения частоты сердечных сокращений с помощью потребительских устройств, особенно с учетом растущего распространения сверхширокополосной (UWB) технологии в мобильных телефонах. Хотя наше исследование не включало прямого тестирования с использованием мобильных телефонов в реальных условиях, эта работа закладывает важнейшую основу для таких будущих приложений.
Ключевым результатом этой работы является демонстрация того, что модель, обученная на одном типе радара (FMCW), может быть успешно адаптирована для другого (UWB) для измерения частоты сердечных сокращений. Такой подход к переносу обучения является значительным шагом вперед. Он предлагает более эффективный путь для будущих исследований и разработок, где фундаментальные знания из существующих больших наборов данных могут быть использованы для новых устройств. Вместо того чтобы начинать с нуля с обширного сбора данных для каждого нового устройства, этот метод позволяет оптимизировать процесс, ускоряя сроки внедрения таких функций в потребительские устройства.
Благодарности
Данное исследование является результатом совместной работы команд Google Research и Google Platforms & Devices. Мы хотели бы поблагодарить наших соавторов Себастьяна Баура, Мэтью Бау, Матиаса Беллаиша, Шаранью Шринивас, Октавио Понсе, Мэтью Томпсона, Прамода Рудрапатну, Майкла Санчеса, Лоуренса Цая, Тима Чико, Роберта Стори, Эмили Маз, Умеша Теланга, Шравью Шетти и Маянка Дасвани за их значительный вклад. Мы также благодарны Абхиджиту Гухе Рою, Михалу Матузаку, Флоренс Тнг, Юн Лю и Шветаку Пателю за их экспертную оценку. Кроме того, мы благодарим Тию Тиясиричокчай за разработку графического оформления этой публикации.
Данная информация не предназначена для диагностики, лечения, смягчения, предотвращения или терапии каких-либо заболеваний или состояний.
Источник: research.google
