Стартап заявляет, что решил одну из ключевых проблем ИИ — «обобщение во времени»

Стартап заявляет, что решил одну из ключевых проблем ИИ — «обобщение во времени». Разбираем, что это такое и как работает их новая модель.

Польский стартап Pathway объявил о создании новой архитектуры больших языковых моделей (LLM), которая, по их заявлению, решает проблему «обобщения во времени».

Проще говоря, «обобщение во времени» — это способность ИИ рассуждать и учиться на новом опыте в реальном времени, а не просто повторять заученные паттерны. Это одна из фундаментальных проблем, которая ограничивает развитие автономных ИИ-систем. Решением этой проблемы занимаются все крупные лаборатории, включая OpenAI и Google.

1. Архитектура Dragon Hatchling (BDH): Что это?

Dragon Hatchling (BDH) — это название новой архитектуры LLM. В отличие от стандартных трансформеров (как GPT), она основана на сети «нейронных частиц», которые взаимодействуют локально, что, по словам разработчиков, имитирует работу нейронных сетей в мозге млекопитающих.

Отличия и заявленные преимущества:

— На масштабах от 10 млн до 1 млрд параметров модель демонстрирует производительность, сопоставимую с GPT-2.

— Интерпретируемость — главное заявленное преимущество. Из-за локального характера взаимодействий внутренние механизмы модели легче анализировать. То есть, проще понять, почему нейросеть пришла к тому или иному выводу. Это критически важно для создания надежных и предсказуемых ИИ-систем.

— Модель использует локальные нейронные правила для выполнения задач рассуждения и работы с памятью, что отличает ее от глобальной архитектуры внимания в трансформерах.

2. Процесс разработки:

В процессе разработки был зафиксирован факт спонтанного формирования структуры, напоминающей сканирование человеческого мозга. Эта структура не была заранее запрограммирована, а возникла сама в процессе обучения модели.

Этот факт используется разработчиками как доказательство того, что их подход имитирует биологические процессы и позволяет модели самостоятельно выстраивать сложные когнитивные архитектуры.

3. Оценка и значимость: что говорят эксперты.

Внешние эксперты, в частности польский популяризатор науки Мацей Кавецки, утверждают, что это решение одной из главных проблем современного ИИ.

Основные тезисы:

— Pathway заявляет, что их модель способна к «обобщению во времени» — то есть, к рассуждению, обучению на опыте и формулированию прогнозов на основе новой информации, что является фундаментальным свойством человеческого интеллекта.

— Подчеркивается, что это достижение не крупной корпорации с миллиардными бюджетами, а результат работы небольшой команды ученых.

— Утверждается, что структура, которую спонтанно формирует модель, напоминает поведение неокортекса — отдела мозга млекопитающих, отвечающего за высшие когнитивные функции (обучение, принятие решений).

Заявления о «решении главной проблемы ИИ» — это пока маркетинг. Однако, если их модель действительно окажется более прозрачной и способной к реальному обучению на лету при сохранении высокой производительности, это может стать существенным шагом вперед по сравнению с текущим поколением LLM.

Необходимо дождаться независимых тестов и более подробной технической документации. Но следить за этим стартапом определенно стоит.

Источник: vk.com

Источник: ai-news.ru