Подобно плодовой мушке, новый алгоритм никогда не забывает старые запахи.

Разработанная по образцу насекомых «разреженная кодировка» обеспечивает быстрое обучение и предотвращает катастрофическое забывание.

Фото: Жоао Паулу Бурини

Плодовые мушки не славятся своим интеллектом; вы, вероятно, не раз топили их в бокале с вином, слишком долго оставленном на садовом столике. И все же, используя примерно 140 000 нейронов — мозг размером с маковое зернышко — дрозофила способна за доли секунды распознать огромное количество запахов, а затем надолго сохранить память об этом запахе.

В этом отношении они значительно превосходят современные «электронные носы». Даже самые передовые из представленных на рынке, как правило, дороги, обладают крайне узким диапазоном обнаружения и быстро забывают запах, как только усваивают новый.

Так почему бы просто не скопировать муху? Этот вопрос задает все больше исследователей, в том числе Кевин Макс и Ян Шен из Окинавского института науки и технологий, чей новый алгоритм Spi-Fly описан в статье, недавно опубликованной в журнале Neuromorphic Computing and Engineering.

Довольно расплывчатый смысл

С механической точки зрения, обоняние — это странное чувство.

Зрение и слух сводятся к одному физическому измерению, которое можно отобразить на графике — длине волны, — что делает их относительно простыми для изучения. Молекулы запаха, напротив, не могут быть сведены ни к одному физическому измерению. Биологии пришлось найти более сложное решение: сотни различных рецепторных белков, каждый из которых имеет форму, позволяющую захватывать определенные молекулярные особенности, срабатывая в комбинациях, которые затем мозг должен расшифровать. Это настолько комбинаторно сложная система, что только в 1991 году Линда Бак и Ричард Аксель смогли идентифицировать семейство генов рецепторов, стоящих за ней, — работа, за которую они получили Нобелевскую премию в 2004 году.

Несмотря на сложности в нашем понимании обоняния, «электронные носы» уже существуют на рынке. Такие компании, как Alpha MOS, Aryballe и Odotech, продают их для контроля качества пищевых продуктов, мониторинга окружающей среды и досмотра в целях безопасности.

Эти устройства плохо умеют обобщать. Устройство с программным обеспечением, настроенным на обнаружение испорченного оливкового масла, — это не то же самое, что устройство, которое обнаруживает конкретное взрывчатое вещество на контрольно-пропускном пункте в аэропорту. Перенастройка такого устройства для решения новой задачи обычно означает переобучение его программного обеспечения практически с нуля.

За этим ограничением стоят два технических препятствия. Во-первых, этим системам обычно требуется огромное количество примеров с ручной разметкой, прежде чем они смогут надежно отличать один запах от другого. Во-вторых, обучение их новому запаху, как правило, нарушает то, что они уже знали, — проблема, которую исследователи называют «катастрофическим забыванием» — электронный эквивалент забывания, как ездить на велосипеде сразу после того, как научились плавать.

Штрих-коды запахов

Плодовые мушки — и многие другие насекомые — не испытывают этой проблемы, несмотря на свой крошечный мозг. Как им удаётся различать запахи и запоминать их, имея столь скудные умственные способности? Секрет, по мнению авторов статьи, заключается в так называемом разреженном кодировании.

Представьте, что мозг мухи присваивает каждому запаху свой штрих-код. Ее обонятельная система основана примерно на 2000 специализированных клетках, называемых клетками Кеньона, которые получают редкие, хаотично расположенные сигналы, передаваемые от обонятельных рецепторов мухи. Все эти клетки Кеньона передают сигналы в одну точку ретрансляции: передний парный латеральный нейрон, или APL (фактически, симметричная пара, по одному на каждое полушарие мозга). APL реагируют, посылая сильный, глобальный сигнал торможения всем клеткам Кеньона одновременно, подавляя их активность почти у всех. Клетки, остающиеся активными после этого подавления, — это то, что Макс и Шен называют штрих-кодом для конкретного запаха.

Spi-Fly продолжает повествование только после того, как датчик уже выполнил свою работу — всё происходит в режиме симуляции, с использованием предварительно записанных данных с датчиков, и сам алгоритм не имеет никакого отношения к обнаружению запаха.

В работе Макса и Шена показания датчиков преобразуются в поток импульсов, проецируемых редко и случайным образом на скрытый слой, который заменяет клетки Кеньона, при этом нейроны подавляют друг друга, а не полагаются на единого арбитра, подобного APL. Оттуда скрытый слой соединяется с выходным слоем, где на каждый помеченный запах приходится один нейрон, ожидающий определения, какой штрихкод соответствует какому запаху.

Простое правило

В действительности, обучается связь между штрихкодом и его этикеткой, следуя простому правилу нейронных сетей, которому уже несколько десятилетий: каждый раз, когда срабатывает скрытый нейрон одновременно с правильным ответом, эта связь немного укрепляется.

Больше ничего. Нет необходимости в обратном распространении ошибки — методе, одним из соавторов которого является лауреат Нобелевской премии по физике 2024 года Джеффри Хинтон. Этот метод используется для обучения большинства современных нейронных сетей путем обратного прохода по каждому слою, чтобы точно определить, кто виноват в ошибке.

В ходе их тестов упрощенная система показала себя хорошо. При обнаружении набора запахов обычными газовыми датчиками Spi-Fly достигает пика всего после трех воздействий на каждый из них, в то время как для обратного распространения ошибки требуется примерно 70 воздействий.

Если подавать в сеть новые запахи по паре за раз — это стресс-тест на катастрофическое забывание — Spi-Fly практически не реагирует, сохраняя старые запахи с минимальной потерей точности, в то время как обратное распространение ошибки переходит в область, близкую к случайному угадыванию.

Есть ещё одна практическая проблема: память. Весь смысл разработки такой простой сети заключается в том, чтобы в конечном итоге запустить её на нейроморфных чипах — быстро развивающейся технологии, которая создаёт оборудование, напрямую имитирующее работу мозга, обрабатывая импульсы вместо запуска обычного программного обеспечения. У таких чипов обычно не так много памяти. Любой алгоритм, работающий на таком чипе, должен обходиться лишь малой частью того, что обычный компьютер считает само собой разумеющимся. В таких условиях алгоритм Spi-Fly демонстрирует гораздо меньшую деградацию, чем алгоритм обратного распространения ошибки.

Однако, как признает сам Макс, существует предел. «Если слой разреженного кода содержит 100 нейронов, и каждый запах представлен 5 нейронами, то теоретический верхний предел емкости для запахов равен „100, выбираем 5“», — объяснил он в электронном письме, — примерно 75 миллионам возможных «штрихкодов». Но шум в реальном мире почти полностью сводит на нет этот запас. «Один и тот же запах почти никогда не представляется одним и тем же разреженным кодом в двух воздействиях из-за шума, условий воздушного потока и т. д.», — написал Макс. «Учитывая параметры нашей модели, она должна быть способна представить несколько сотен запахов, но это также зависит от типа запахов и сходства между ними».

Та же история и с самими тестами: каждый из них, как и все исследование, проводился исключительно в режиме моделирования, с использованием отдельных, изолированных запахов — совсем не похоже на клубок конкурирующих запахов, с которыми устройство могло бы столкнуться на настоящей кухне, в лесу или в терминале аэропорта. Нет никакой гарантии, что Spi-Fly выдержит воздействие реальных молекул, когда они начнут взаимодействовать друг с другом вне компьютера.

Спорное сравнение

Затем есть сеть EPL, которую в статье называют ближайшим конкурентом. Она показывает средние результаты на наборе данных газовых датчиков, но плохо работает на синтетических данных дрозофилы. Макс объясняет этот разрыв, среди прочего, временными факторами: сеть EPL считывает запахи дискретными снимками, имитируя то, как животные на самом деле нюхают, в то время как Spi-Fly считывает непрерывный поток, ничего не отбрасывая.

Томас Клеланд, профессор психологии Корнельского университета, один из разработчиков сети EPL, оспаривает само сравнение. По его словам, сети EPL и Spi-Fly никогда не создавались для решения одной и той же проблемы. Сеть EPL предназначена для фильтрации внезапных, непредсказуемых фоновых запахов, например, запаха сигаретного дыма незнакомца, проникающего в комнату. Она делает это, используя правила однократного обучения, и не была разработана для обучения постепенным, повторяющимся изменениям, на которых обучается Spi-Fly. «EPL и Spi-Fly основаны на разных уровнях обонятельной системы и созданы для разных моделей шума», — пишет он в электронном письме. Он прямо заявляет о результате: по его мнению, сравнение мало что говорит.

Spi-Fly существует исключительно в виде кода, протестированного на предварительно записанных наборах данных, а не на реальном запахе. Следующий шаг — интеграция его в аппаратное обеспечение для распознавания запахов, которое Макс и его коллеги разрабатывают в Техническом университете Эйндховена и Кильском университете — настоящие, физические нейроморфные чипы, изготовленные со всеми мелкими несоответствиями, которые возникают при реальном производстве, а не при моделировании.

Макс не называет точную дату, лишь обещая, что скоро будет продолжение. А пока что муха, за которой вы наблюдали, как она утонула в вашем бокале с вином, по-прежнему побеждает.

Нейроморфные вычисления и инженерия, 2026. DOI: 10.1088/2634-4386/ae9177

Федерика Сгорбисса — научный журналист; она пишет о нейробиологии и когнитивной науке для итальянских и международных изданий.

6 комментариев

Источник: arstechnica.com