minAction.net: Проектирование нейронной архитектуры с приоритетом энергопотребления — от биологических принципов до систематической проверки

arXiv:2604.24805v2 Тип объявления: замена-кросс Аннотация: Современное машинное обучение оптимизирует точность без явного учета внутренних вычислительных затрат, даже несмотря на то, что физические и биологические системы работают в условиях внутренних энергетических ограничений. Мы оцениваем энергоэффективное обучение на основе 2203 экспериментов, охватывающих наборы данных для обработки изображений, текста, нейроморфных и физиологических данных, с 10 начальными значениями на каждую конфигурацию и факторным статистическим анализом. Получены три результата. Во-первых, архитектура сама по себе объясняет незначительную дисперсию точности (частичная эта² = 0,001), в то время как взаимодействие архитектуры и набора данных велико (частичная эта² = 0,44, p < 0,001), демонстрируя, что оптимальная архитектура критически зависит от модальности задачи, и опровергая предположение об универсальной наилучшей архитектуре. Во-вторых, контролируемый лямбда-сканирование в диапазоне значений λ {0, 1e-5, 1e-4, 1e-3, 1e-2} подтверждает работоспособность однопараметрической целевой функции с энергетической регуляризацией L = L_CE + λ * E(θ, x): в этом диапазоне внутренняя энергия активации уменьшается примерно на три порядка по сравнению с нерегуляризованным базовым значением λ=0, при этом изменение точности незначительно.

Источник: arxiv.org