Динамическая теория последовательного поиска в сетях Хопфилда, управляемых входными данными.

arXiv:2603.03201v2 Тип объявления: replace-cross Аннотация: Рассуждение — это способность интегрировать внутренние состояния и внешние входные данные в осмысленный и семантически непротиворечивый поток. Современные системы машинного обучения (МО) все чаще полагаются на такое последовательное рассуждение, от понимания языка до многомодальной генерации, часто работая со словарями прототипических шаблонов, напоминающих модели ассоциативной памяти. Понимание поиска и последовательности в моделях ассоциативной памяти обеспечивает мощный мост для получения представления о рассуждениях в МО. Хотя статические свойства поиска в моделях ассоциативной памяти хорошо изучены, теоретические основы последовательного поиска и интеграции нескольких хранилищ памяти остаются ограниченными, а существующие исследования в значительной степени опираются на численные данные. В этой работе разрабатывается динамическая теория последовательного рассуждения в сетях Хопфилда. Мы рассматриваем недавно предложенную сеть Хопфилда с пластичностью, управляемой входными данными (IDP), и анализируем архитектуру с двумя временными масштабами, сочетающую быстрый ассоциативный поиск с медленной динамикой рассуждений. Мы выводим явные условия для самоподдерживающихся переходов в памяти, включая пороговые значения усиления, время выхода и режимы коллапса. В совокупности эти результаты представляют собой принципиальное математическое описание последовательности в моделях ассоциативной памяти, связывающее классическую динамику Хопфилда и современные архитектуры рассуждений.

Источник: arxiv.org