воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
В сотрудничестве с HHMI Janelia и Гарвардом мы представляем ZAPBench — набор данных и эталонный набор для анализа активности всего мозга с разрешением на уровне отдельных клеток у личинок данио-рерио, что позволит разрабатывать и сравнивать более точные модели активности мозга.
Быстрые ссылки
- Бумага
- Наборы данных, код и учебные пособия
- Делиться
В каждом мозге находится огромное количество нейронов, генерирующих сложные схемы электрических импульсов через обширную и сложную сеть синапсов. Понимание этих схем является ключом к пониманию того, как они порождают сложное поведение. Коннектомика — всестороннее картирование всех нейронных связей в мозге — предлагает мощный подход к решению этой проблемы.
За последнее десятилетие Google внесла фундаментальный вклад в коннектомику, создав карты для нескольких видов, включая человека. Но эти структурные карты могут помочь лишь до определённой степени. Они показывают, как связаны клетки, но для понимания того, как эти связи используются, нам необходимы данные, фиксирующие динамическую активность нейронов во времени. Хотя исследователи ранее регистрировали крупномасштабную активность мозга и разрабатывали модели на основе этих наблюдений, подобные усилия никогда не включали одновременное картирование детального структурного коннектома и регистрацию функциональной активности значительной части одного и того же мозга.
Чтобы преодолеть это ограничение, совместно с нашими коллегами из HHMI Janelia и Гарвардского университета мы получили полный набор данных о мозге личинки данио-рерио. Этот набор данных содержит записи примерно 70 000 нейронов, и в настоящее время мы занимаемся созданием всеобъемлющего коннектома для образца, для которого были записаны данные об активности. Это уникальное сочетание впервые позволит нам напрямую исследовать взаимосвязь между точной структурной организацией нейронных связей и динамическими паттернами нейронной активности во всем мозге позвоночного животного.
В этом посте мы описываем набор данных об активности всего мозга и эталонный набор данных для прогнозирования активности рыбок данио, ZAPBench, о котором мы объявляем на этой неделе на конференции ICLR 2025. Благодаря открытому набору данных ZAPBench исследователи получают подробные записи, которые они могут использовать для построения моделей активности мозга, а с помощью эталонного набора данных они могут количественно оценить точность прогностических моделей.
Сравнительный анализ моделей мозга
Появление основанных на данных бенчмарков, позволяющих оценивать и сравнивать модели машинного обучения (МО), привело к колоссальным успехам в различных областях. Подобно тому, как бенчмарки МО способствовали прогрессу в прогнозировании погоды, компьютерном зрении и языковом моделировании, они теперь дают толчок развитию нейробиологии. Существующие исследования, такие как Dynamic Sensorium Competition, которые улучшили наше понимание того, как зрительная кора мыши обрабатывает визуальные стимулы, охватывают лишь небольшую часть исследуемого мозга (менее 0,1%). ZAPBench уникален тем, что охватывает почти весь мозг небольшого позвоночного животного.
Активность всего головного мозга у небольшого позвоночного животного
Традиционно нейробиологи изучают нейронную активность, разбивая сложные поведенческие реакции на более мелкие составляющие. Например, для изучения охоты они могут рассматривать способность клеток и органов чувствовать голод, обонятельную систему, позволяющую животному учуять добычу, зрительную систему для слежения и так далее. Но сложные поведенческие реакции почти всегда задействуют одновременно несколько областей, включая ощущения, принятие решений, память и движение. Чтобы еще больше усложнить ситуацию, нейронная обработка информации распределена по всему мозгу.
ZAPBench использует уникальный подход, фокусирующийся на активности всего мозга позвоночного животного. Опираясь на новаторские работы наших коллег из Janelia по регистрации активности всего мозга, мы создали наш набор данных и эталонный набор данных на основе изображений, полученных из всего мозга личинки данио-рерио. Мы выбрали личинку данио-рерио по нескольким причинам. В возрасте всего шести дней она способна выполнять сложные задачи, связанные с двигательным обучением и памятью, такие как адаптация к движущимся течениям и условиям освещения, выслеживание и охота на мелкую добычу, а также запоминание опасной среды. Кроме того, и это наиболее важно, она маленькая и прозрачная, а весь её мозг можно визуализировать под специализированным микроскопом.
Для сбора данных для нашего сравнительного анализа наши коллеги Алекс Чен и Миша Аренс из HHMI Janelia записали активность мозга рыбы под специализированным световым микроскопом, который использует лазерный луч для сканирования мозга по одному тонкому срезу за раз и создания трехмерного изображения. Рыба была генетически модифицирована для экспрессии GCaMP, генетически закодированного индикатора кальция, который ярко мигает зеленым цветом при связывании с ионами кальция, поступающими в активные нейроны. Чтобы получить четкое изображение этих белков в момент их свечения, рыбу иммобилизовали в желеобразном веществе. Для измерения реакции мозга на различные стимулы вокруг рыбы проецировались компьютерные изображения, а сканирующий микроскоп записывал активность мозга. В общей сложности было записано два часа трехмерной активности мозга.
Личинки данио-рерио обездвижены в желеобразном веществе, а световой микроскоп регистрирует активность мозга в ответ на стимулы, создаваемые виртуальной реальностью. Изображение предоставлено Игорем Сивановичем.
Рыбу подвергали воздействию девяти различных типов визуальных стимулов с помощью установки виртуальной реальности, которая моделировала упрощенные версии условий, с которыми рыба может столкнуться в своей естественной среде обитания. Примеры включали изменение направления течения воды, чередование света и темноты, а также сильные течения, уносящие рыбу. Например, наши коллеги измеряли, как рыба может адаптировать свое плавание к изменяющимся течениям, проецируя движущиеся линии на дно аквариума. Рыбки данио плавают в мелководных реках, и линии должны были имитировать то, как волны отбрасывают тени на песчаное дно. Рыбе в хвост были установлены электроды для регистрации мышечной активности, и ее снимали сверху: когда линии начинали двигаться, рыба пыталась плыть против виртуального течения.
воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
Кальциевая визуализация позволяет зафиксировать активность во всем объеме головного мозга.
После завершения экспериментов по визуализации исходные данные были скорректированы на артефакты движения. Мы использовали два разных типа данных для сравнения их эффективности при обучении наших моделей. Первый представлял собой трехмерное объемное видео, полученное с помощью светового микроскопа. Во втором случае мы обработали видеоданные, чтобы показать активность каждого отдельного нейрона во времени, что называется временным рядом. Подобно очень длинному кинофильму, где каждая строка показывает активность одной клетки мозга в течение двух часов, данные временного ряда используются для выделения отдельных нейронов. Чтобы отделить нейроны от трехмерного видео, мы использовали сегментацию на уровне вокселей для определения того, какой след активности принадлежит какому нейрону. Этот процесс определяет границы каждого нейрона на самом маленьком трехмерном уровне — вокселе (трехмерном пикселе).
Сегментация на уровне вокселей, визуализирующая отдельные тела нейронов, использовалась для извлечения траекторий активности каждого из 71 721 нейрона.
Затем мы построили карту активности нейронов во времени в ответ на различные анимации виртуальной реальности, показанные рыбе. На рисунке ниже представлена карта активности нейронов, измеренная в мозге рыбки данио. Яркость линии в любой точке отражает, насколько «активной» была эта клетка в данный момент. Вертикальные линии отмечают моменты изменения анимации, показываемой рыбе. Траектории нейронов расположены таким образом, что клетки со схожей «историей» находятся близко друг к другу. Однако изображение растянуто по горизонтали, чтобы было легче увидеть изменения активности каждой клетки во времени.
Активность 71 721 нейрона была отображена на временной ряд в ответ на различные визуальные стимулы. Например, «Усиление» обозначает силу течения, имитируемую в среде обитания рыбы. Яркость линий соответствует активности нейронов в данный момент.
Оценка эффективности прогнозирования
Подобно тому, как большие языковые модели могут предсказывать будущие слова в предложении, мы стремимся разработать модели мозга, способные предсказывать паттерны нейронной активности. С помощью ZAPBench мы задаемся следующим вопросом: насколько точно модель может предсказать последующие 30 секунд активности, имея записанный фрагмент мозговой активности? Чтобы начать процесс бенчмаркинга, мы создали модели на основе обоих типов данных (временные ряды и трехмерные объемные данные), а также разработали простые базовые модели, например, на основе усреднения активности каждого нейрона во времени (слишком упрощенный подход). Мы изучили два источника данных, чтобы определить компромиссы между ними. Данные временной трассировки требуют большей постобработки и содержат меньше информации, чем объемное изображение, но с ними проще работать из-за небольшого размера данных и меньшей вычислительной стоимости.
Сравнительное изображение карты мозговой активности. Слева: Исходные данные. Справа: Прогноз.
Мы протестировали ряд моделей на их способность прогнозировать активность мозга и оценили их с помощью метрики средней абсолютной ошибки (MAE), которая измеряет разницу между прогнозируемой активностью и фактической активностью. Мы узнали несколько вещей. Во-первых, модели, обученные на большем объеме контекстных данных (более длинные видеоклипы), показывают значительно лучшие результаты, чем модели, основанные на коротких контекстных данных (более короткие видео), допуская меньше ошибок по сравнению с эталонными данными.
Средняя абсолютная ошибка (MAE) ниже для длинного контекста по сравнению с коротким контекстом во всех девяти условиях средовых стимулов (чем ниже, тем лучше). Черные линии (сплошная и пунктирная) представляют собой базовые значения для наивных пользователей (подробности см. в статье ).
Во-вторых, объемное обучение (на 3D-видео) в некоторых случаях превзошло модели, использующие временные ряды, что, как мы предполагаем, объясняется тем, что 3D-модели имеют доступ к пространственным взаимосвязям между клетками. Кроме того, что интересно, ошибки моделей чаще всего происходят в определенных областях мозга, а это значит, что некоторые области мозга сложнее предсказать, чем другие. Мы также заметили, что видеомодели хорошо работают с данными более низкого разрешения. Эти наблюдения поднимают интересные исследовательские вопросы, которые следует изучить в будущем.
Дальнейшая работа
Мы работаем с нашими коллегами из HHMI Janelia над завершением создания коннектома всего головного мозга личинок данио-рерио, что позволит расширить набор данных ZAPBench информацией о физической связности. В будущем это позволит создавать более биологически обоснованные модели и, будем надеяться, повысит точность прогнозирования.
Благодарности
Мы благодарим наших научных сотрудников из HHMI Janelia и лабораторий Лихтмана и Энгерта в Гарварде, а также отмечаем существенный вклад команды Connectomics в Google. Мы благодарны Моник Бруйетт и Элизе Клеман за помощь в написании этого поста в блоге. Благодарим Лиззи Дорфман, Майкла Бреннера, Джона Платта и Йосси Матиаса за их поддержку, координацию и руководство.
Источник: research.google
