Российский стартап придумал, как удешевить работу ИИ в 20 раз…

Российский стартап придумал, как удешевить работу ИИ в 20 раз

Стартап Mostik AI разрабатывает способ, который позволяет нейросетям передавать друг другу не текст, а внутренние состояния.

Идея в том, чтобы большая модель делала тяжёлую часть работы — «обдумывала» задачу, строила контекст и находила решение, — а маленькая уже формулировала итоговый ответ. Так можно сохранить часть качества большой модели, но не платить за неё на каждом шаге.

Сейчас ИИ-агенты часто используют несколько моделей: одна планирует, другая выполняет. Но между собой они всё равно общаются текстом. Одна модель генерирует токены, вторая их читает. Получается странно: внутри модель мыслит огромными векторами, а наружу отдаёт лишь короткую текстовую выжимку.

По оценке Mostik AI, обработка одного токена может порождать около 1 млн числовых значений — примерно 2 МБ данных. А наружу выходит всего один выбранный токен — около 17 бит. Разработчики описывают это довольно точно: модели, созданные для мышления в тысячах измерений, разговаривают друг с другом через замочную скважину.

Mostik пытается построить «нейросетевой мостик» — слой, который переводит скрытое состояние одной модели в формат, понятный другой.

Для демонстрации команда связала GLM-5.2 на 753 млрд параметров, которой нужно до 1,5 ТБ памяти, с компактной Qwen-3.5 на 4 млрд параметров. По словам CEO Саши Малышевой, такая связка дала в среднем 80% качества большой модели примерно за 1/20 стоимости вычислений.

Практический смысл понятный: большие модели можно использовать только там, где они действительно нужны, а всё остальное отдавать дешёвым маленьким моделям. Для пользователя это может выглядеть как более качественный ответ за меньшие деньги — без постоянного выбора между «умно, но дорого» и «дёшево, но как получится».

Команда у проекта тоже необычная: 15 человек, из них 12 с PhD. Главный научный сотрудник — математик Станислав Смирнов, профессор Женевского университета и лауреат Филдсовской премии 2010 года.

По его словам, одна из ключевых задач — найти общий математический язык, на котором разные модели смогут понимать друг друга.

#полезное