Нейронные сети могут пойти по двум путям – либо неограниченный рост ошибок и самораспад, либо сверхуверенность в собственной правоте. К такому выводу пришли российские математики
Технооптимисты считают, что нейронные сети переживают период лавинообразного развития – осталось немного подождать, и появится так называемый «сильный искусственный интеллект», которые наконец-то сможет решить все наши проблемы.
Скептики с ними не согласны. Айти-стартапы требуют всё больших вложений, правительства и частные инвесторы вкачивают в технологию сотни миллиардов долларов, ведутся разговоры о строительстве новых гигантских дата-центров и даже атомных электростанций для их питания. А результаты после первоначального успеха больших языковых моделей, становятся всё скромнее. Иногда кажется, что прогресс и вовсе поворачивается вспять – что, например, отмечали на примере откровенно провальной версии Chat-GPT 5, которая вызвало резко отторжение у пользователей на фоне самой удачной на сегодняшний день «четвёрки».
Впрочем, рядовые пользователи могут говорить что угодно – но как смотрят на перспективы ИИ профессионалы? Они, надо признать, тоже далеко не единодушны в позитивных оценках. Коллектив исследователей из МФТИ и Института проблем передачи информации имени Александра Харкевича (ИППИ РАН) на днях представил математическую модель, описывающую, как системы искусственного интеллекта влияют на собственное будущее, обучаясь на данных, которые сами же и породили.
Основная идея учёных следующая – ИИ уже успел «дотянуться» до почти всех данных человечества, которые находятся в открытом доступе. А новая информация во многом создаётся самими нейросетями, и её доля со временем будет только нарастать. Кроме того, нейросети сами постепенно изменяют экономический и информационный ландшафт мира, создавая систему с обратными связями, которых изначально не существовало.
Например, банк отказывает в кредите на основе прогноза модели, это решение меняет статистику выдачи займов. Рекомендательный системы на сайтах буквально навязывают пользователям определённый контент, чем меняют их предпочтения, а затем медиа-холдинги уже начинают требовать именно такие материалы от своих авторов. Алгоритмы машинного обучения управляют колоссальными потоками информации: они рекомендуют товары, одобряют кредиты, формируют новостные ленты и даже помогают полиции предсказывать районы совершения преступлений. Недалёк тот час, когда аналогичный эффект будет наблюдаться и в инжиниринге, когда проекты зданий и техпроцессы начнут изменять, дабы сделать их максимально удобными именно для синтетического разума.
В итоге алгоритмы начинают менять ту самую среду, которую они призваны анализировать. В результате новые данные, на которых система будет переобучаться, становятся искажённым отражением её прошлых предсказаний. Возникает скрытая петля обратной связи, эффект которой до сих пор описывался в основном эмпирически, но не имел строгого математического обоснования. Такое явление математики образно назвали «зеркальным лабиринтом» – ИИ учится уже не на объективной информации из реального мира, а на данных, к созданию которых сам же и был причастен. Ситуация напоминает скорее человека, который пытается выучить иностранный язык, читая только свои собственные, написанные с ошибками конспекты. В классической теории статистики и машинного обучения такие случаи ранее просто не рассматривались – было принято считать, что данные приходят из внешнего, независимого источника, подобно тому, как астроном наблюдает за звёздами, не в силах повлиять на их траекторию.
Команда российских математиков подошла к этой проблеме с инструментарием теории динамических систем. Вместо того, чтобы анализировать отдельные ошибки предсказаний, авторы работы рассмотрели эволюцию самих распределений вероятностей данных. Они представили процесс многократного обучения как бесконечную цепочку преобразований, где на каждом шаге функция плотности вероятности данных трансформируется под воздействием так называемого эволюционного оператора. Этот оператор включает в себя весь жизненный цикл модели: от выборки данных и тренировки алгоритма до выдачи прогнозов пользователям и получения обратной связи.
В 2021 году было установлено влияние вовлечённости и доверия пользователей на эволюцию системы, и в 2023-м были получены критерии возникновения эффекта положительной обратной связи и возникающего в результате вынужденного смещения данных, но не было строгой математической модели этого эффекта. К построению такой модели с учётом недетерминированности систем машинного обучения и удалось приступить в работе 2024-2025 годов.
Если переводить с языка цифр и уравнений на общеупотребительный, то результаты исследования можно обобщить следующим образом: у процесса самообучения в замкнутом контуре есть два финальных сценария.
— Первый сценарий – коллапс вариативности, когда распределение вырождается в так называемую дельта-функцию Дирака. На практике это означает возникновение жёсткой положительной обратной связи: модель становится сверхуверенной в своих узких прогнозах, игнорируя всё многообразие реальности.
— Второй сценарий не лучше – стремление к нулевому распределению, что означает неограниченный рост ошибки и дисперсии. Это состояние соответствует хаотическому развалу системы, когда обратная связь становится отрицательной или деструктивной, и предсказательная способность модели деградирует до уровня хуже случайного угадывания. Исследователи определили математические условия, при которых система сваливается в тот или иной режим, подтвердив гипотезу, выдвинутую Антоном Хританковым в 2021 году, о связи сжимающих отображений с возникновением положительных петель обратной связи.
Для проверки своих теоретических выкладок учёные провели серию вычислительных экспериментов на синтетических данных, используя классические задачи линейной регрессии. Они смоделировали две ситуации: «скользящее окно», когда старые данные постепенно забываются, и «выборочное обновление», когда новые предсказания смешиваются с полным набором исторических данных. Результаты симуляций идеально легли на предсказанные теоретические кривые.
Магистрант кафедры интеллектуальных систем ФПМИ МФТИ Андрей Веприков сообщает:
«Мы обнаружили, что даже простые модели линейной регрессии при повторном обучении на своих выводах демонстрируют сложное динамическое поведение. В зависимости от параметров – того, насколько пользователи доверяют предсказаниям и как много машинных данных попадает обратно в обучающую выборку, – система неумолимо дрейфует либо к сужению кругозора и «эху», либо к полной потере качества.»
Если опасения, высказанные учёными, подтвердятся, то перед нами не просто временная трудность, которую можно преодолеть с помощью более щедрого финансирования и нового программного кода, а системный тупик, в который зашло всё развитие искусственного интеллекта в его современном понимании.
Добавим, что хотя наша страна сегодня не относится к числу мировых лидеров в разработке больших нейросетей, однако, советская и российская математическая школа сыграла огромную роль в развитии этой технологии. Достаточно вспомнить руководителя лаборатории разработки систем интеллектуального управления промышленными комплексами ФГАНУ ЦИТиС Александра Галушкина. Предложенный Александром Ивановичем в 70-х годах метод обратного распространения ошибки для обучения нейронных сетей лёг в основу большинства первых моделей искусственного интеллекта. И сегодня российские математики продолжают дело своих предшественников.
Источник: vk.com
Источник: ai-news.ru
