Обучение выравниванию на основе импульсов решает проблему переноса веса.

arXiv:2503.02642v3 Тип объявления: замена Аннотация: Как в машинном обучении, так и в вычислительной нейробиологии пластичность в функциональных нейронных сетях часто выражается как градиентный спуск по функции стоимости. Зачастую это накладывает ограничения симметрии, которые трудно согласовать с локальными вычислениями, как это требуется для биологических сетей или нейроморфного оборудования. Например, обучение режиму бодрствования-сна в сетях, характеризующихся распределениями Больцмана, предполагает симметричную связность. Аналогично, алгоритм обратного распространения ошибки печально известен проблемой переноса весов между представлением и потоком ошибок. Существующие решения, такие как выравнивание с обратной связью, обходят эту проблему, опираясь на устойчивость этих алгоритмов к асимметрии весов. Однако они плохо масштабируются с размером и глубиной сети. Мы представляем обучение выравниванию на основе импульсов (SAL), дополнительное правило обучения для импульсных нейронных сетей, которое использует статистику времени импульсов для извлечения и коррекции асимметрии между эффективными взаимными связями. Помимо того, что предлагаемый нами механизм основан на импульсах и является полностью локальным, он использует шум. Благодаря взаимодействию между хеббианской и антихеббианской пластичностью, синапсы могут восстанавливать истинный локальный градиент. Это также смягчает расхождения, возникающие из-за изменчивости нейронов и синапсов — повсеместного свойства физических нейронных сетей. Мы демонстрируем эффективность нашего механизма, используя различные модели импульсных сетей. Во-первых, SAL может значительно улучшить сходимость к целевому распределению в вероятностных импульсных сетях по сравнению с одной лишь хеббианской пластичностью. Во-вторых, в нейронных иерархиях, основанных на кортикальных микросхемах, SAL эффективно выравнивает веса обратной связи с прямым путем, тем самым позволяя обратное распространение ошибок обратной связи. В-третьих, наш подход обеспечивает конкурентоспособную производительность в глубоких сетях, используя только локальную пластичность для переноса весов.

Источник: arxiv.org