Mistral выпустила Le Chonk — триллионную модель Large 4 Mistral…

Mistral выпустила Le Chonk — триллионную модель Large 4

Mistral представила Mistral Large 4 — модель на 1 трлн параметров, из которых активны 49 млрд.

Внутри — большой MoE, обученный на 3800 Grace Blackwell в собственном датацентре Mistral. То есть это уже не «маленькая европейская модель на энтузиазме», а вполне взрослый заход в тяжёлую лигу.

По большинству бенчмарков Large 4 пока немного не дотягивает до лучших открытых моделей, но находится рядом с ними — уже не в роли догоняющего издалека, а примерно в одной весовой категории.

Модель доступна в превью через API.

Цены:
— $1,36 за 1 млн входных токенов
— $4,18 за 1 млн выходных токенов
— первые 2 недели действует скидка 50%

Для такой модели это выглядит не самым дешёвым предложением, но Mistral подчёркивает, что обучение с подкреплением ещё продолжается. Так что итоговая версия может стать сильнее.

Веса обещают выложить в конце месяца.