Исследователи из Thinking Machines Lab предложили метод, который может изменить то, как обучаются языковые модели. Он называется on-policy distillation — и учит ИИ не просто копировать, а думать и анализировать свои ошибки.
Обычно «дистилляция» работает просто: большая модель-учитель показывает ответы, а маленькая модель-ученик запоминает их. Это похоже на заучивание по шпаргалке — быстро, но без понимания сути.
В новом подходе всё иначе. Ученик сам решает задачи, а учитель оценивает и направляет — объясняет, где логика сбоит и как улучшить рассуждение. Таким образом, меньшая модель перенимает не только знания, но и способ мышления более крупной модели.
Что показали результаты
Эксперименты проводились на задачах математического и логического рассуждения, где важно не просто выдать правильный ответ, а выстроить цепочку шагов.
Результаты впечатляют:
Модель-ученик после обучения с on-policy distillation показала почти ту же точность, что и гораздо более крупная модель-учитель.
При этом вычислительные затраты снизились в несколько раз, делая модель заметно эффективнее и дешевле.
Кроме того, ученик стал лучше понимать собственные ошибки, что повысило устойчивость и надёжность при решении новых, незнакомых задач.
Почему это важно
On-policy distillation решает ключевую проблему традиционных методов — отсутствие адаптивности.
Модель теперь учится на собственных шагах, как человек, — экспериментирует, ошибается, корректирует поведение и растёт.
Это открывает путь к созданию компактных LLM нового поколения, которые рассуждают почти как топовые модели, но стоят в разы дешевле.
Такие модели можно запускать на edge-устройствах, в автономных агентах и локальных сервисах, где важны скорость, приватность и энергоэффективность.
Подробнее: thinkingmachines.ai/blog/on-policy-distillation/
Источник: vk.com
Источник: ai-news.ru
