Небольшой стартап Arcee AI с нуля разработал LLM с открытым исходным кодом и 400 миллиардами параметров, чтобы превзойти ламу Меты.

Многие в отрасли считают, что победители рынка моделей ИИ уже определены: он будет принадлежать крупным технологическим компаниям (Google, Meta, Microsoft, немного Amazon) вместе с выбранными ими разработчиками моделей, в основном OpenAI и Anthropic.

Однако крошечный стартап Arcee AI, насчитывающий всего 30 человек, с этим не согласен. Компания только что выпустила действительно открытую (лицензия Apache) универсальную базовую модель под названием Trinity, и Arcee утверждает, что с 400 миллиардами параметров она является одной из крупнейших базовых моделей с открытым исходным кодом, когда-либо обученных и выпущенных американской компанией.

По словам Арси, Trinity сопоставима с Llama 4 Maverick 400B от Meta и GLM-4.5 от Z.ai, высокопроизводительной моделью с открытым исходным кодом из китайского университета Цинхуа, согласно результатам сравнительных тестов, проведенных с использованием базовых моделей (с минимальным последующим обучением).

Как и другие передовые модели (SOTA), Trinity ориентирована на программирование и многоэтапные процессы, такие как работа агентов. Тем не менее, несмотря на свои размеры, она пока не является настоящим конкурентом SOTA, поскольку в настоящее время поддерживает только текст.

В разработке находятся и другие режимы — в настоящее время создаётся модель обработки изображений, а в планах — версия для преобразования речи в текст, сообщил технический директор Лукас Аткинс изданию TechCrunch (на фото выше, слева). Для сравнения, Llama 4 Maverick от Meta уже поддерживает мультимодальный режим, включая текст и изображения.

Но прежде чем добавлять новые режимы ИИ в свой арсенал, Арси говорит, что хотел создать базовую модель LLM, которая произвела бы впечатление на его основных целевых клиентов: разработчиков и ученых. Команда особенно хочет переманить американские компании всех размеров, чтобы они отказались от открытых моделей, предлагаемых Китаем.

«В конечном счете, победителями в этой игре, и единственный способ действительно завоевать популярность, являются лучшие модели с открытым весом», — сказал Аткинс. «Чтобы завоевать сердца и умы разработчиков, нужно предложить им лучшее».

Результаты тестов показывают, что базовая модель Trinity, которая в настоящее время находится в режиме предварительного просмотра, пока проводится дополнительное обучение, в целом демонстрирует неплохие результаты, а в некоторых случаях даже немного превосходит Llama в тестах на программирование и математику, здравый смысл, знания и логическое мышление.

Прогресс, достигнутый Arcee на пути к конкурентоспособности в области искусственного интеллекта, впечатляет. Большая модель Trinity следует за двумя предыдущими небольшими моделями, выпущенными в декабре: Trinity Mini с 26 миллиардами параметров, полностью обученной моделью рассуждений для задач от веб-приложений до агентов, и Trinity Nano с 6 миллиардами параметров, экспериментальной моделью, разработанной для расширения границ возможностей моделей, которые, будучи крошечными, но при этом способными к общению.

Самое интересное, что Arcee обучила их всех за шесть месяцев, потратив на это в общей сложности 20 миллионов долларов, используя 2048 графических процессоров Nvidia Blackwell B300. Это из примерно 50 миллионов долларов, которые компания привлекла на данный момент, заявил основатель и генеральный директор Марк Маккуэйд (на фото выше, справа).

«Для нас это была огромная сумма», — сказал Аткинс, возглавлявший работу по созданию модели. Тем не менее, он признал, что это ничто по сравнению с тем, сколько сейчас тратят более крупные лаборатории.

«Шестимесячный срок был очень тщательно рассчитан», — сказал Аткинс, чья карьера до получения степени магистра права была связана с разработкой голосовых агентов для автомобилей. «Мы — молодой стартап, который очень амбициозен. У нас огромный талант и талантливые молодые исследователи, и, получив возможность потратить такие деньги и обучить модель такого размера, мы поверили, что они справятся. И они, безусловно, справились, проведя много бессонных ночей и долгих часов за работой».

Маккуэйд, ранее работавший в одной из первых компаний на платформе для создания моделей с открытым исходным кодом Hugging Face, говорит, что Arcee изначально не планировала стать новой американской лабораторией искусственного интеллекта: компания изначально занималась настройкой моделей для крупных корпоративных клиентов, таких как SK Telecom.

«Мы занимались только постобучением. Поэтому мы брали лучшие работы других: модель Llama, модель Mistral, модель Qwen с открытым исходным кодом, и проводили постобучение, чтобы улучшить их» для целей компании, — сказал он, включая обучение с подкреплением.

Но по мере роста списка клиентов, как сказал Аткинс, потребность в собственной модели становилась необходимостью, и Маккуэйд беспокоился о том, чтобы не зависеть от других компаний. В то же время многие из лучших открытых моделей поступали из Китая, к которым американские предприятия относились с опаской или которым было запрещено их использовать.

Это было очень волнительное решение. «Я думаю, что в мире существует менее 20 компаний, которые когда-либо предварительно обучали и выпускали собственные модели такого масштаба и уровня, к которому стремилась Arcee», — сказал Маккуэйд.

Компания начинала с малого, попробовав свои силы в крошечной модели стоимостью 4,5 миллиарда долларов, созданной в партнерстве с компанией DatologyAI, занимающейся обучением. Успех проекта подтолкнул компанию к более масштабным начинаниям.

Но если у США уже есть Llama, зачем им еще одна модель с открытым исходным кодом? Аткинс говорит, что, выбрав лицензию Apache с открытым исходным кодом, стартап обязуется всегда сохранять свои модели открытыми. Это произошло после того, как генеральный директор Meta Марк Цукерберг в прошлом году заявил, что его компания, возможно, не всегда будет делать все свои самые передовые модели открытыми.

«Llama можно рассматривать как не совсем открытый исходный код, поскольку она использует лицензию, контролируемую Meta, с оговорками относительно коммерческого использования и применения», — говорит он. Это привело к тому, что некоторые организации, занимающиеся открытым исходным кодом, утверждают, что Llama вообще не соответствует требованиям открытого исходного кода.

«Arcee существует потому, что США нуждается в постоянно открытой, лицензированной компанией Apache, конкурентоспособной альтернативе, способной конкурировать на современных рубежах», — сказал Маккуэйд.

Все модели Trinity, большие и маленькие, можно скачать бесплатно. Самая большая версия будет выпущена в трех вариантах. Trinity Large Preview — это модель, прошедшая небольшую постобработку, то есть она обучена следовать инструкциям человека, а не просто предсказывать следующее слово, что делает её подходящей для использования в чатах общего назначения. Trinity Large Base — это базовая модель без постобработки.

Затем у нас есть TrueBase, модель, которая может обрабатывать любые данные инструкций или проходить постобучение, поэтому предприятиям или исследователям, желающим ее настроить, не придется разворачивать какие-либо данные, правила или предположения.

Компания Arcee AI в конечном итоге предложит размещенную версию своей общедоступной модели по конкурентоспособной цене API. До этого релиза осталось до шести недель, поскольку стартап продолжает совершенствовать обучение модели.

Стоимость API для Trinity Mini составляет 0,045/0,15 доллара США, также доступен бесплатный тариф с ограниченным количеством запросов. При этом компания продолжает предлагать варианты послеобучения и индивидуальной настройки.

Источник: techcrunch.com