FT: китайская ByteDance начала разработку ИИ-модели, «сопоставимой» с Mythos 5, — у неё будет около 10 трлн параметров

Пока модель на ранней стадии обучения.

• ByteDance начала обучение новой ИИ-модели, размер которой может достичь 10 трлн параметров, пишет Financial Times со ссылкой на источники. Это примерно втрое больше, чем у Kimi K3 от Moonshot AI — крупнейшей китайской модели на данный момент.
• У Mythos 5 от Anthropic около 8 трлн параметров, у Fable 5 — примерно 5 трлн. Anthropic не раскрывает эти данные, FT приводит оценки опрошенных представителей индустрии. По словам источников издания, три неназванные китайские компании сейчас обучают модели масштаба Fable 5, но у ByteDance «самые амбициозные» планы.
• Модель компании находится на стадии предварительного обучения — обычно этот этап занимает от трёх до шести месяцев, отмечает издание. Если обучение пройдёт успешно, её дополнительно настроят и выпустят. Точное количество параметров определят позднее.
• При этом возможности ИИ-моделей зависят не только от количества параметров, но и от методов обучения и качества данных. Источники FT заявляют, что ByteDance не использует метод дистилляции и стремится разрабатывать свою модель «независимо».
• За последние три года ByteDance активнее других крупных китайских ИТ-компаний инвестировала в ИИ, нанимала исследователей и расширяла дата-центры, отмечает FT. В команде, которая занимается разработкой модели, около 2000 сотрудников.