SensorFM: На пути к созданию универсального интеллекта и интерфейса для обработки медицинских данных с носимых устройств.
Мы представляем SensorFM, базовую модель для носимых медицинских устройств, предварительно обученную на более чем триллионе минут данных с датчиков от пяти миллионов человек. Благодаря масштабированию размера модели и объема данных, SensorFM обучается универсальному представлению физиологии человека, которое переносится на 35 задач прогнозирования здоровья, поддерживает эффективную с точки зрения меток адаптацию и заполнение данных, а также может служить базовым инструментом для персонального медицинского агента.
Быстрые ссылки
- Бумага
- Делиться
По оценкам, в настоящее время используются миллиарды носимых устройств, точно отслеживающих частоту сердечных сокращений, движения, температуру кожи, уровень кислорода в крови и сон в течение дней, недель и месяцев. Этот непрерывный, долгосрочный поток физиологических и поведенческих данных представляет собой один из наиболее перспективных исходных материалов для профилактической, персонализированной медицины. Однако превращение этих низкоуровневых сигналов в значимые выводы остается сложной задачей. Во-первых, базовые физиологические показатели, образ жизни и состояние здоровья сильно различаются от человека к человеку, поэтому закономерность, указывающая на риск у одного человека, может не указывать на него у другого. Во-вторых, данные, необходимые для обучения моделей — подтвержденные диагнозы, результаты лабораторных исследований, проверенные анкеты — дороги, их сбор занимает много времени, и собрать их ретроспективно практически невозможно. В результате большинство моделей для носимых устройств, используемых в здравоохранении, строятся по одному результату за раз, с использованием специализированных, контролируемых конвейеров, которые нацелены на узкий конечный показатель и с трудом обобщаются на весь спектр здоровья человека.
В статье «К созданию общего интеллекта и интерфейса для данных о здоровье, получаемых с помощью носимых устройств» мы используем другой подход. Мы представляем SensorFM, модель на основе больших данных с носимых устройств, которая обучается непосредственно на немаркированных данных в масштабе популяции. Предварительно обученная на более чем триллионе минут мультимодальных сигналов с датчиков, полученных от пяти миллионов участников, давших согласие на участие, SensorFM обучается единому, многократно используемому представлению физиологических показателей человека — представлению, которое применимо к сердечно-сосудистому, метаболическому, сну и психическому здоровью, а также к образу жизни и демографическим факторам. Насколько нам известно, это самый большой и разнообразный набор данных с носимых устройств, использованный для обучения модели на сегодняшний день.
Обучение на основе триллиона минут данных с датчиков.
Для создания корпуса данных для предварительного обучения мы отобрали обезличенные данные пяти миллионов человек, давших согласие на использование своих данных для исследований в области здоровья и благополучия, собранные в период с сентября 2024 по сентябрь 2025 года. Набор данных охватывает более 100 стран, все 50 штатов США и более 20 моделей устройств Fitbit и Pixel Watch. От каждого человека мы отобрали данные за несколько недель, получив более двух миллиардов часов — более триллиона минут — сигналов с разрешением в минуту.
SensorFM обрабатывает 34 агрегированных одноминутных параметра, полученных с помощью пяти датчиков: фотоплетизмографии (ФПГ), акселерометрии, электродермальной активности (ЭДА), температуры кожи и альтиметрии. Вместе они регистрируют частоту сердечных сокращений и вариабельность сердечного ритма, насыщение крови кислородом, стадии сна, движения и шаги, проводимость кожи и температуру в течение полных 24 часов.
Вместо использования меток, SensorFM обучается посредством самообучающейся реконструкции, опираясь на подход LSM-2 и его адаптивную и наследуемую маскировку (AIM). Это критически важное проектное решение, поскольку пропущенные и фрагментированные данные (например, периоды времени, когда данные недоступны) являются нормой для носимых устройств и вызваны различными факторами, такими как циклы включения/выключения датчиков, снятие устройств с запястья, режимы энергосбережения и включение/выключение датчиков. Традиционные самообучающиеся методы предполагают полные, непрерывные входные данные и поэтому вынуждены либо заполнять пробелы (что может вносить смещение), либо отбрасывать неполные окна (что приводит к потере ценных данных). AIM не выбирает ни один из этих путей: он рассматривает пропущенные данные в реальном мире как естественный артефакт и обучается непосредственно на неполных записях, комбинируя токены, унаследованные от подлинных пробелов, с токенами, искусственно замаскированными для цели реконструкции, и рассматривая их как эквивалентные. В результате получается представление, которое по своей конструкции учитывает пропущенные данные. SensorFM не просто терпит фрагментированные данные, он использует их продуктивно, как показывают приведенные ниже результаты генерации.
SensorFM предварительно обучен на более чем триллионе минут мультимодальных данных с датчиков с использованием метода маскированной реконструкции с учетом отсутствующих данных.
Совместное масштабирование модели и данных приносит свои плоды.
Ключевой вопрос для любой базовой модели заключается в том, соответствует ли масштаб её возможностям. Мы провели систематический набор экспериментов по масштабированию, охватывающих четыре порядка величины как по объёму данных для предварительного обучения (от примерно 2 миллионов до 2 миллиардов сенсорных часов), так и по размеру модели (от 100 тысяч до 100 миллионов параметров).
В результате получается четкий и обнадеживающий сигнал: потери на этапе предварительного обучения предсказуемо снижаются по мере роста объема данных и пропускной способности, и — что особенно важно — эти улучшения переносятся на последующие задачи в области здравоохранения. Самая большая модель (SensorFM-B), обученная на полном корпусе данных, включающем пять миллионов человек, снижает потери при реконструкции на 31% по сравнению с наименьшим вариантом и улучшает производительность на последующих этапах в среднем на 9% прироста производительности (AUC) в задачах классификации и на 21% прироста производительности (коэффициент Пирсона) в задачах регрессии.
Наибольшие улучшения достигаются при одновременном масштабировании обоих параметров. Увеличение объема данных и пропускной способности пропорционально приводит к почти линейному росту как в генеративном предварительном обучении, так и в дискриминативной производительности на последующих этапах — и кривая не показывает признаков насыщения. Среди вариантов модели SensorFM-B выигрывает в 33 из 35 задач.
Совместное масштабирование данных и возможностей модели на несколько порядков приводит к повышению производительности как на этапе предварительного обучения, так и на этапе последующего анализа, без признаков насыщения.
Одно представление, множество областей здравоохранения
Чтобы проверить, насколько общим является полученное представление, мы оценили SensorFM на 35 дискриминативных задачах в области здравоохранения, взятых из трех независимых проспективных исследований, одобренных Институциональным наблюдательным советом, с общим числом участников 13 985. Задачи охватывают шесть категорий: сердечно-сосудистое здоровье, метаболический риск, психическое здоровье, сон, демографические данные и образ жизни.
Чтобы напрямую оценить качество эмбеддингов, мы зафиксировали кодировщик SensorFM и обучили на его основе только облегченную линейную модель, а затем сравнили результаты с базовыми моделями, обученными с использованием специально разработанных признаков. Вот что мы обнаружили:
- Широкое обобщение: линейные зонды на эмбеддингах SensorFM превосходят разработанный с учетом особенностей базовый метод обучения с учителем в 34 из 35 задач, без какой-либо специфической для задачи архитектуры.
- Физиологические особенности усваиваются неявно: добавление демографических характеристик (возраст, пол и т. д.) дает небольшой прирост, но этот прирост уменьшается по мере масштабирования модели, что говорит о том, что более крупные модели неявно учитывают физиологически значимые признаки на этапе предварительного обучения.
- Успешное применение в трудноизмеримых условиях: масштабированное предварительное обучение особенно ценно для таких состояний, как депрессия и тревога, которые различаются от человека к человеку и оставляют лишь слабые следы в данных датчиков. SensorFM, по-видимому, учится распознавать индивидуальные различия, которые обычно скрывают такие сигналы, и выявлять закономерности, характерные для разных людей.
- Эффективность разметки: Используя лишь небольшую долю размеченных примеров, SensorFM быстро превосходит как базовые показатели, основанные только на демографических данных, так и показатели, полученные с помощью инженерных функций, — важное свойство в здравоохранении, где высококачественные разметки являются дефицитом.
Относительное улучшение производительности линейного зондирования на замороженных эмбеддингах SensorFM в дискриминативных задачах здравоохранения.
«Класс» агентов для создания прогностических моделей.
Полезность универсального эмбеддинга зависит от усилий, необходимых для его адаптации. Традиционно преобразование эмбеддингов в надежный предиктор для каждой новой конечной точки требует ручной разработки признаков, выбора архитектуры и настройки гиперпараметров — утомительной работы, которая становится все сложнее по мере роста числа задач.
Для автоматизации этого процесса мы создали агентный «класс»: набор взаимодействующих и конкурирующих агентов LLM, которые итеративно генерируют, тестируют и совершенствуют исполняемый код для построения блоков прогнозирования на основе эмбеддингов SensorFM. В ходе наших экспериментов система исследовала более 30 000 вариантов решений.
Разработанные агентами головы превзошли простой линейный тест в 16 из 20 задач классификации и в 12 из 15 задач регрессии. Выделились две закономерности: качество решения монотонно улучшается в процессе поиска и масштабируется в зависимости от возможностей базовой модели LLM — более совершенные модели (например, более новые версии Gemini) дают лучшие решения, в то время как сотрудничество между агентами помогает менее совершенным моделям сократить отставание.
В «классе» агентов LLM итеративно пишут, тестируют и совершенствуют код для создания модулей прогнозирования на основе эмбеддингов SensorFM, улучшая решения с течением времени.
Заземление персонального медицинского агента
Наконец, мы задались вопросом, насколько полезен SensorFM в комплексном плане — как инструмент, который позволяет ИИ-консультанту по здоровью ориентироваться на физиологию самого человека. Мы интегрировали SensorFM в персонального медицинского агента и сравнили три условия генерации сводных данных о состоянии здоровья на основе 31 реального профиля участника:
- Демографические данные + ежедневные показатели носимых устройств + прогнозы SensorFM
- Демографические данные + ежедневные показатели носимых устройств + данные на основе фактических измерений
- Демографические данные + только ежедневные показатели, полученные с помощью носимых устройств (базовый уровень)
Группа врачей, не знавших об условиях эксперимента, оценила полученные сводные данные по пяти критериям — контекст, релевантность, обоснованность, персонализация и потенциальный вред — получив 1860 оценок за более чем 40 часов экспертной оценки. Результаты поразительны. Добавление прогнозов SensorFM значительно улучшило ответы по сравнению с базовым уровнем по каждому критерию. При этом не было статистически значимой разницы между использованием прогнозов SensorFM и фактическими измерениями — это означает, что выводы модели служили агенту примерно так же хорошо, как и реальные метки.
Использование SensorFM в качестве инструмента для персонального медицинского агента улучшает оценки врачей.
Заключение
SensorFM указывает на сдвиг в исследованиях носимых медицинских устройств: от множества специализированных моделей с одним результатом к единому, универсальному представлению физиологии человека, которое может гибко, эффективно и масштабно адаптироваться. Обучаясь на основе более чем триллиона минут немаркированных данных с датчиков, система обобщает данные по сердечно-сосудистой системе, метаболизму, сну и психическому здоровью; поддерживает эффективную с точки зрения маркировки адаптацию и надежную оценку ежедневных показателей; может автоматически специализироваться с помощью агентного класса; и может основывать персонального медицинского агента на собственных сигналах человека.
Благодарности
Мы хотели бы поблагодарить наших соавторов и коллег из Google Research, Google DeepMind и академических кругов за их вклад в эту работу.
Источник: research.google
Оцените материал:
