Стартап заявляет, что решил одну из ключевых проблем ИИ — «обобщение во времени». Разбираем, что это такое и как работает их новая модель.
Польский стартап Pathway объявил о создании новой архитектуры больших языковых моделей (LLM), которая, по их заявлению, решает проблему «обобщения во времени».
Проще говоря, «обобщение во времени» — это способность ИИ рассуждать и учиться на новом опыте в реальном времени, а не просто повторять заученные паттерны. Это одна из фундаментальных проблем, которая ограничивает развитие автономных ИИ-систем. Решением этой проблемы занимаются все крупные лаборатории, включая OpenAI и Google.
1. Архитектура Dragon Hatchling (BDH): Что это?
Dragon Hatchling (BDH) — это название новой архитектуры LLM. В отличие от стандартных трансформеров (как GPT), она основана на сети «нейронных частиц», которые взаимодействуют локально, что, по словам разработчиков, имитирует работу нейронных сетей в мозге млекопитающих.
Отличия и заявленные преимущества:
— На масштабах от 10 млн до 1 млрд параметров модель демонстрирует производительность, сопоставимую с GPT-2.
— Интерпретируемость — главное заявленное преимущество. Из-за локального характера взаимодействий внутренние механизмы модели легче анализировать. То есть, проще понять, почему нейросеть пришла к тому или иному выводу. Это критически важно для создания надежных и предсказуемых ИИ-систем.
— Модель использует локальные нейронные правила для выполнения задач рассуждения и работы с памятью, что отличает ее от глобальной архитектуры внимания в трансформерах.
2. Процесс разработки:
В процессе разработки был зафиксирован факт спонтанного формирования структуры, напоминающей сканирование человеческого мозга. Эта структура не была заранее запрограммирована, а возникла сама в процессе обучения модели.
Этот факт используется разработчиками как доказательство того, что их подход имитирует биологические процессы и позволяет модели самостоятельно выстраивать сложные когнитивные архитектуры.
3. Оценка и значимость: что говорят эксперты.
Внешние эксперты, в частности польский популяризатор науки Мацей Кавецки, утверждают, что это решение одной из главных проблем современного ИИ.
Основные тезисы:
— Pathway заявляет, что их модель способна к «обобщению во времени» — то есть, к рассуждению, обучению на опыте и формулированию прогнозов на основе новой информации, что является фундаментальным свойством человеческого интеллекта.
— Подчеркивается, что это достижение не крупной корпорации с миллиардными бюджетами, а результат работы небольшой команды ученых.
— Утверждается, что структура, которую спонтанно формирует модель, напоминает поведение неокортекса — отдела мозга млекопитающих, отвечающего за высшие когнитивные функции (обучение, принятие решений).
Заявления о «решении главной проблемы ИИ» — это пока маркетинг. Однако, если их модель действительно окажется более прозрачной и способной к реальному обучению на лету при сохранении высокой производительности, это может стать существенным шагом вперед по сравнению с текущим поколением LLM.
Необходимо дождаться независимых тестов и более подробной технической документации. Но следить за этим стартапом определенно стоит.
Источник: vk.com
Источник: ai-news.ru
