Сильнейший открытый ИИ из США обучали с помощью китайской модели. Стартап Мурати представил Inkling

Thinking Machines Lab — стартап бывшего технического директора OpenAI Миры Мурати — представил свою первую модель Inkling, к которой компания шла почти полтора года. Inkling — мультимодальная модель с архитектурой «смесь экспертов» (MoE) на 975 млрд параметров, из которых на каждый токен активны 41 млрд. Она работает с текстом, изображениями и аудио, поддерживает контекст до 1 млн токенов и рассуждающий режим. Главное отличие от флагманов OpenAI, Anthropic и Google — открытые веса. Модель уже лежит на Hugging Face, и любой может скачать ее и дообучить под себя.

Самая любопытная деталь релиза спрятана в разделе про обучение. Чтобы запустить пост-трейнинг, Thinking Machines провела начальный этап дообучения с учителем (SFT) на синтетических данных, которые сгенерировали другие открытые модели — в том числе Kimi K2.5 от китайской Moonshot AI. Компания оговаривается, что на этот подготовительный этап пришлась малая доля вычислений, а основной объем ушел на масштабное обучение с подкреплением. Но ирония очевидна. Релиз, который пресса подает как возвращение США в гонку открытых весов, стартовал с помощью китайской модели — тех самых, альтернативой которым Inkling и должен стать.

Предварительное обучение провели на 45 трлн токенов текста, картинок, аудио и видео, использовав новейшие ускорители NVIDIA GB300 NVL72. Дизайн MoE напоминает DeepSeek-V3: 256 роутируемых экспертов плюс два общих, шесть активных на токен. Вместо повсеместных поворотных позиционных эмбеддингов (RoPE) команда выбрала относительные — по ее замерам, они лучше экстраполируются на длинные последовательности. А мультимодальность сделали вовсе без отдельных энкодеров: аудио подается дискретными dMel-спектрограммами, изображения — патчами 40 на 40 пикселей, и все это обрабатывается одним трансформером вместе с текстом.

Отдельная фишка — регулируемое «усилие мышления». В отличие от других моделей, где обычно заложено несколько уровней (средний, высокий, ультра), здесь разработчик задает уровень усилия в диапазоне от 0.2 до 0.99. Теоретически это позволит добиться нужного качества при лучшей цене: на бенчмарке агентного кодинга Terminal Bench 2.1 модель достигает результата другого американского открытого ИИ — Nemotron 3 Ultra от Nvidia, — потратив втрое меньше токенов. Идея в том, что для реальных задач, где модель гоняют миллионы раз, честнее смотреть на всю кривую цена/качество, а не на одну цифру при максимальных настройках.

Inkling уступает лучшим китайским моделям вроде Kimi K2.6 и GLM-5.2, но среди американских открытых ИИ выглядит сильнейшим: в таблице бенчмарков он обходит Nemotron 3 Ultra почти по всем пунктам, от HLE и GPQA до SWEBench. Есть и внешний замер — правда, сделанный еще до релиза и включенный прямо в блог-пост. На лидерборде Design Arena, где живые люди вслепую сравнивают сгенерированные веб-приложения, Inkling занял девятое место с Elo 1257 — в одной группе с Claude Opus 4.6 и Gemini 3.5 Flash. После релиза организаторы отдельно отметили в X, что это открытая модель из США с самым высоким рейтингом в агентных задачах.

При этом сама Thinking Machines честно пишет в пресс-релизе, что Inkling — «не самая производительная модель из доступных сегодня, ни закрытая, ни открытая». Вместо рекордов компания делает акцент на том, что называет эпистемикой, — модель специально учили калибровать уверенность. Обучение с подкреплением шло на корпусе реальных вопросов с известными исходами, награда выдавалась по правилам оценки прогнозов, а на коротких фактических вопросах модель поощряли отвечать «не знаю», когда уверенности нет. Результат — на ForecastBench модель прогнозирует на уровне Gemini 3.1 Pro и Grok 4.3. Отдельно команда Cognition проверила Inkling на устойчивость к цензуре — модель показала высокую готовность говорить на неудобные темы.

Бизнес Thinking Machines планируют строить не на чат-боте, а на кастомизации через собственную платформу Tinker. При этом в демо к релизу показали, как Inkling дообучает саму себя. Модель написала код задачи на дообучение, сгенерировала синтетические данные и оценки, запустила обучение через Tinker API и загрузила собственные новые веса.

В ходе обучения с подкреплением проявился и забавный побочный эффект. Inkling стала выбрасывать из внутреннего монолога артикли и связки — «We need to understand» превратилось в телеграфное «We need determine» — оставаясь понятным и приходя к тем же ответам. Похожее сжатие рассуждений недавно замечала команда Cognition при обучении SWE-1.7. Похоже, это общий паттерн: модели изобретают что-то вроде стенографии для собственной оптимизации.

После закрытия линейки Llama 4, США фактически остались без мощных открытых моделей — и Thinking Machines пытается занять эту нишу. Ресурсы у компании есть: среди инвесторов Nvidia, а с Google Cloud, по сообщениям СМИ, подписана многомиллиардная сделка. Вместе со старшей моделью компания анонсировала превью Inkling-Small — версию на 276 млрд параметров с 12 млрд активных, которая за счет улучшенного рецепта претрейна местами обгоняет старшую модель. Ее веса обещают выложить после завершения тестов.

P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.

Источник: habr.com