Cohere открывает возможности квантования без потерь и нативного цитирования с помощью первой полностью лицензированной по Apache 2.0 открытой модели Command A+.
Карл Франзен
Канадская лаборатория искусственного интеллекта Cohere недавно произвела фурор, объявив о слиянии с немецким стартапом Aleph Alpha, но теперь у нее есть еще больше планов для разработчиков корпоративных решений по всему миру: сегодня компания, одним из соучредителей которой является бывший сотрудник Google и соавтор книги «Внимание — это все, что вам нужно», Эйдан Гомес, представила Command A+, высокооптимизированную языковую модель с 218 миллиардами параметров, разработанную специально для сложных рассуждений, многомодальной обработки документов и агентных рабочих процессов.
Наиболее значимым аспектом релиза является не только функциональность модели, но и её доступность.
Выпустив бесплатно веса модели в популярном репозитории для обмена кодом ИИ Hugging Face под очень либеральной лицензией Apache 2.0 с открытым исходным кодом — что, по словам Гомеса, ныне генерального директора Cohere, является первым подобным случаем для компании, — Cohere делает продуманную ставку на «суверенный ИИ» — тезис о том, что предприятия, правительства и разработчики должны иметь возможность запускать, контролировать и адаптировать передовой ИИ полностью в своих собственных защищенных средах, не жертвуя производительностью.
Разреженная архитектура с экстремальным квантованием
На архитектурном уровне Command A+ представляет собой значительный шаг вперед по сравнению с предыдущими плотными моделями Cohere. Это трансформатор с разреженной смесью экспертов (MoE), работающий только с декодером.
Хотя модель содержит сравнительно скромные 218 миллиардов параметров, еще меньше — всего 25 миллиардов — активны на каждом этапе генерации. Она занимает гораздо меньше места и требует значительно меньше вычислительных ресурсов для работы в режиме инференции (предоставляя модель конечным пользователям в производственных средах или через агентов), чем проприетарные американские гиганты, такие как GPT-5.5 от OpenAI и Claude Opus 4.7 от Anthropic, которые, по оценкам сторонних наблюдателей, содержат триллионы параметров.
Эта разреженная архитектура является ключом к эффективности модели. Проще говоря, модель MoE направляет входящие запросы только к тем «экспертным» нейронным сетям, которые лучше всего подходят для их обработки, оставляя остальную часть модели в режиме ожидания.
Это хорошо известная формулировка, которой сегодня придерживается большинство ведущих моделей LLM, позволяющая моделям сохранять обширную базу знаний и тонкие аналитические возможности гигантской модели, но при этом обеспечивая более высокую скорость и меньшие вычислительные и энергетические затраты, чем у гораздо меньшей модели, поскольку в любой момент времени активируется лишь небольшая часть параметров.
Однако компания Cohere сделала дополнительный шаг вперед по сравнению с большинством в разработке Command A+, сосредоточившись на повышении эффективности использования оборудования за счет квантования — процесса, который сжимает объем памяти, занимаемый моделью, путем снижения точности ее параметров.
Программа Command A+ доступна в 16-битном (BF16), 8-битном (FP8) и сильно сжатом 4-битном (W4A4) формате.
Квантование W4A4 является технической основой этого релиза. Как правило, модели рассуждений страдают от чрезмерного «налога на квантование», когда сжатие модели приводит к заметному ухудшению результатов при решении сложных задач.
Компания Cohere решила эту проблему, квантуя экспертов MoE только до 4 бит, сохраняя при этом критически важные пути внимания с полной точностью, что было дополнено методом, называемым дистилляцией с учетом квантования.
В результате достигается практически полное сжатие без потерь , что позволяет запускать эту масштабную модель как на одном графическом процессоре NVIDIA Blackwell B200, так и всего на двух графических процессорах NVIDIA H100.
Увеличение скорости также весьма заметно. Согласно данным о производительности, опубликованным компанией, квантизация W4A4 при низкой параллельности достигает 375 токенов в секунду (TOPS) с задержкой до первого токена (TTFT) всего 113 миллисекунд — что представляет собой увеличение скорости вывода до 63% и снижение задержки на 17% по сравнению с предыдущей моделью Command A Reasoning.
Кроме того, компания Cohere обновила токенизатор модели. Токенизаторы разбивают текст на фрагменты, которые обрабатываются моделями искусственного интеллекта. Новый токенизатор оптимизирован для глобального корпоративного использования и поддерживает 48 языков.
Что еще более важно, это значительно повышает эффективность токенизации для неевропейских языков, сокращая количество токенов, необходимых для генерации ответов на арабском языке на 20%, на японском — на 18%, а на корейском — на 16%. Поскольку затраты на вывод рассчитываются за каждый токен, это напрямую приводит к снижению операционных затрат для глобальных, многоязычных или неанглоязычных развертываний.
Агентные рабочие процессы и высокие стандарты в математике и специализированных областях.
Хотя скорость и размер определяют развертывание, полезность модели определяется ее функциональными возможностями. Command A+ был разработан специально для «агентных» задач — рабочих процессов, в которых ИИ работает автономно или полуавтономно, использует внешние инструменты, запрашивает данные из баз данных и синтезирует информацию на нескольких этапах.
Разница в показателях по сравнению с предыдущим поколением поразительна.
В бенчмарке 𝜏²-Bench Telecom, проверяющем способность к сложному мышлению, модель показала результат с 37% до 85%. В бенчмарке Terminal-Bench Hard, измеряющем производительность агентного кодирования, она выросла с 3% до 25%. В тестах на знание сложных математических выражений модель набрала 90% на AIME 25, по сравнению с 57% ранее.
Command A+ превосходит ожидания в своей весовой категории (25 миллиардов активных параметров) по показателям логического мышления и математических вычислений, напрямую конкурируя с гораздо более крупными моделями, такими как DeepSeek V4 Pro, в математических тестах. Однако в задачах глубокого агентного программирования и общего масштабного интеллектуального индексирования он в настоящее время отстает от последних поколений китайских конкурентов с открытым исходным кодом, таких как DeepSeek, Z.ai (GLM) и MiniMax.
Однако прямое сравнение этих двух компаний игнорирует основное преимущество Cohere: эффективность оборудования .
Помимо бенчмарков, Command A+ предлагает глубокую интеграцию для обеспечения доверия и проверки в корпоративной среде. Модель поддерживает использование инструментов для диалогового взаимодействия с помощью стандартных шаблонов чата, что позволяет разработчикам беспрепятственно подключать их к внутренним API, поисковым системам или базам данных SQL.
Важно отметить, что Command A+ имеет встроенную функцию генерации цитат. Когда Command A+ получает информацию из внешнего инструмента, он не просто синтезирует ответ; он генерирует явные «связующие отрезки». Используя специальные теги, встроенные в выходные данные, модель напрямую связывает каждое утверждение, которое она делает, с конкретным исходным документом или строкой базы данных, из которой была получена информация.
Для предприятий, работающих в строго регулируемых отраслях, таких как финансы, здравоохранение или юриспруденция, такая отслеживаемость является разницей между интересным прототипом и готовым к производству приложением. Если пользователь запрашивает ежедневный отчет о продажах, модель выдаст общую сумму продаж и явно укажет результат запроса к базе данных, который предоставил это число, минимизируя риск необнаруженных искажений.
Кроме того, Command A+ полностью многомодальный, способный обрабатывать как текст, так и изображения в рамках своего огромного контекстного окна ввода размером 128 КБ, что делает его очень эффективным для обработки сложных документов, таких как анализ отсканированных счетов-фактур, диаграмм или технических руководств.
Первая модель искусственного интеллекта Cohere, полностью лицензированная по Apache 2.0.
В современном мире ИИ термин «открытый исходный код» стал неоднозначным. Многие ведущие компании, занимающиеся ИИ, выпускают свои модели под ограничительными коммерческими лицензиями или политиками допустимого использования, которые прямо запрещают крупным предприятиям использовать модели в коммерческих целях или запрещают использование моделей для обучения конкурирующих систем ИИ.
Действительно, предыдущие модели Cohere, включая Command R и Command R+, выпускались под лицензией CC-BY-NC 4.0 (Creative Commons NonCommercial). Хотя веса их моделей были доступны для загрузки, доработки и оценки исследователями и разработчиками, их использование в коммерческих целях было строго запрещено без приобретения отдельной корпоративной лицензии у Cohere или использования её интерфейса прикладного программирования (API), аналогичного тому, как многие предприятия используют доступ к моделям ИИ от OpenAI, Anthropic, Google и других ведущих лабораторий.
Компания Cohere изменила свой подход, выпустив Command A+ под лицензией Apache 2.0. Это критически важное изменение для сообщества разработчиков. Apache 2.0 — это настоящая, одобренная OSI лицензия с открытым исходным кодом. Она позволяет любому — от независимых разработчиков до корпораций из списка Fortune 500 — использовать, модифицировать, распространять и коммерциализировать модель без уплаты лицензионных сборов или соблюдения ограничительных положений о неконкуренции.
Как написал Гомес на X, это решение поддержал и другой соучредитель Cohere, Ник Фрост, который опубликовал двухминутный обзор, назвав его «лучшей моделью, которую мы когда-либо выпускали».
Для предприятий эта лицензия означает полную независимость от поставщика. Компания может загрузить весовые коэффициенты Command A+, точно настроить их на основе строго засекреченных внутренних данных и развернуть на собственных частных серверах или в изолированных сетях. Они не привязаны к инфраструктуре Cohere, изменениям цен или времени безотказной работы API. Это высшее воплощение суверенного ИИ.
Релиз сразу же получил положительный отклик в экосистеме разработчиков ИИ, во многом благодаря интеграции с основными открытыми фреймворками для выполнения инференции, такими как Hugging Face и vLLM.
Что дальше?
Выпуск Command A+ знаменует собой зрелость экосистемы искусственного интеллекта с открытым исходным кодом. Сочетая передовые методы рассуждения, мощное использование агентных инструментов и многомодальные возможности с архитектурой, специально разработанной для повышения эффективности оборудования, Cohere меняет подход к внедрению ИИ в корпоративной среде.
Необходимость в масштабных централизованных вычислительных кластерах долгое время являлась узким местом для компаний, уделяющих приоритетное внимание конфиденциальности данных и контролю затрат. Демократизировав доступ к модели такого уровня под подлинной лицензией с открытым исходным кодом, Cohere предоставила корпоративному рынку именно то, что он так долго искал: мощь облака, способного безопасно работать в серверной комнате по соседству.
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
Добавить комментарий
Для отправки комментария вам необходимо авторизоваться.