Центр ИИ Сколтеха в MBZUAI: Алексей Зайцев — про байесовский ИИ
Алексей Зайцев (доцент Сколтеха, руководитель лаборатории «Сколтех–Сбербанк» Центра ИИ) принял участие в воркшопе «Переосмысление роли Байесовского подхода в эпоху современного ИИ» (Rethinking the Role of Bayesianism in the Age of Modern AI) в Университете искусственного интеллекта имени Мухаммеда бин Заида (MBZUAI, Абу-Даби). Алексей участвовал в обсуждениях и представил постер исследования, принятого к публикации на ICDM (A*): «Теоретические основы контрастивного самообучения для непрерывных зависимых данных» (A theoretical framework for self-supervised contrastive learning for continuous dependent data). В работе был предложен теоретический подход для обучения представлений на коррелированных временных и пространственно-временных данных с явным учётом зависимостей.
Воркшоп собрал ведущих исследователей, которые задают повестку вероятностного ИИ. Среди участников — Эндрю Гордон Вилсон (Andrew Gordon Wilson, NYU), Эрик Мулене (Eric Moulines, ?cole Polytechnique), Максим Панов (Maxim Panov, MBZUAI), Айке Хюллермайер (Eyke H?llermeier, Paderborn University/LMU), Маурицио Филиппоне (Maurizio Filippone, KAUST), Гинтаре Дзюгайте (Gintare Dziugaite, Google DeepMind).
Программа включала постерную сессию, лекции ведущих учёных и дискуссии, посвящённые дальнейшему развитию байесовского направления. Обсуждали и теорию, и практику:
— PAC-Bayes (Probably Approximately Correct Bayesian) — семейство теоретических оценок того, насколько хорошо модель будет работать на новых данных с учётом априорных допущений. На встрече представили новые результаты по PAC-Bayes для непрерывного обучения (continual learning) — когда модель учится дальше, не забывая ранее выученное.
— Масштабирование вероятностных методов для LLM — как «вшивать» неопределённость и априорные знания в большие языковые модели, чтобы они не только выдавали ответ, но и понимали свою уверенность в нём; какие приближённые методы вывода работают на больших масштабах и как всё это считать эффективно.
«Ландшафт исследований в глубинном обучении непрерывно меняется. Направления адаптируются к новым вызовам, развивают старые методы или предлагают новые. Одно из фундаментальных направлений — байесовские методы — переживает подъём. Их идеи явно используются в диффузионных моделях и менее явно — в LLM. Парадигма учёта априорных знаний о мире в виде фундаментальной модели становится доминирующей в современном ИИ», — отметил Алексей Зайцев.
Воркшоп MBZUAI (https://bayesian.mbzuai.ac.ae/)
Препринт на arXiv (https://arxiv.org/abs/2506.09785)
Источник: arxiv.org
Источник: ai-news.ru