Я знаю, что ты видишь во сне! ИИ научился понимать,…

Я знаю, что ты видишь во сне!

ИИ научился понимать, что человек видит, по скану его мозга. Шайтан-модельку создали и представили в прошлом месяце на конференции по вычислительной нейронауке в Нью-Йорке учёные из израильского Weizmann Institute of Science.

Модель работает и в обратную сторону: по изображению предсказывает, как на него отреагирует мозг. Учили её на данных функциональной МРТ (fMRI). Томограф отслеживает приток крови к активным участкам мозга. В новых сканерах один объёмный «пиксель», воксел, охватывает около 1 кубического миллиметра вместо обычных 3.

Похожие попытки делали и раньше, но, по словам руководителя проекта Михаль Ирани, получалось приблизительно. Человек смотрит на банан, и модель рисует банан, только другой, в другой позе и на другом месте. Поэтому её декодер разделён на две ветки. Одна угадывает структуру картинки, то есть где какие цвета, а другая угадывает содержание. Обе подсказки получает диффузионная модель, та же, что генерирует изображения из шума.

Данных при этом не хватало: 8 добровольцев, каждому показали около 9 000 изображений. Тогда команда научила вторую модель обратному ходу, чтобы по картинке предсказывать скан мозга. Дальше энкодер и декодер тренируют друг друга по кругу: картинка, «воображаемый» скан, снова картинка. В итоге около 70% обучающих данных составляют изображения, которых ни один живой человек в томографе не видел.

Побочный результат: «универсальный» энкодер, которому для нового человека хватает 1 часа калибровки вместо прежних 40. При цене томографа $600–1000 в час разница ощутимая. Нейробиолог Томми Спрэг из UC Santa Barbara честно признаётся, что 40 часов на одного испытуемого не может себе позволить никто.

Ошибки, конечно, случаются. Так модель однажды превратила торт в стопку из трёх сэндвичей, а собаку в ванне — в козу похожей масти. Тоже в ванне. Обстановку, по крайней мере, угадала.

Ирани на картинках останавливаться не собирается. Следующие на очереди — видео, звук, воображаемые образы и сны (о, да, бэйби!). Цели благородные: дать полностью парализованным людям способ общаться, а также понять, как выглядят флешбэки при ПТСР.

А вот коллеги смотрят на это без восторга. Спрэг говорит, что десять лет назад посмеялся бы над страхами о чтении мыслей, ведь уложить человека в томограф против воли непросто. Только Ирани и другие уже переносят подход на ЭЭГ. Там нужна шапочка с электродами, а то и обычные наушники.

Нейробиолог и философ Марчелло Иенка из Technical University of Munich называет такой переход переломным. Один раз откалибровал устройство под пользователя, и дальше из его мозга можно вытягивать данные, вообще не спрашивая. Иенка фантазирует о применении этих возможностей: например, суд, где реконструкция мысленного образа станет уликой.

Сама Ирани о злоупотреблениях пока не тревожится. По её словам, она старается думать только о хорошем. Как и все эти наивные учёные, да…