Компания Cohere открыла исходный код агента для программирования, работающего на одном устройстве H100.
Шон Майкл Кернер
Теперь у инженерных групп, разрабатывающих конвейеры агентного программирования, есть конкретная альтернатива с открытым исходным кодом управляемым моделям, таким как Claude Fable 5, — модель, работающая на одном H100. Компромисс: запущенный во вторник North Mini Code от Cohere сгенерировал в три раза больше выходных токенов, чем сопоставимые модели, в ходе независимого тестирования, что является издержкой, увеличивающейся при больших объемах производственных нагрузок.
Новая модель с открытым исходным кодом представляет собой модель смешанного экспертного взаимодействия (MoE) с 30 миллиардами параметров, при этом на каждый токен приходится 3 миллиарда активных параметров. Она разработана для агентной разработки программного обеспечения, включая оркестрацию суб-агентов, отображение архитектуры, проверку кода и работу с терминалом. Модель поддерживает контекстное окно в 256 000 токенов с максимальной длиной генерации в 64 000 токенов и доступна на Hugging Face под лицензией Apache 2.0.
Что может предложить North Mini Code
North Mini Code ориентирован на весь стек агентного программирования. Вот что делает эта модель и на каких платформах она работает.
Разработка программного обеспечения. Компания Cohere разработала North Mini Code специально для разработки программного обеспечения с использованием агентов, а не на основе универсальной платформы. Он имеет интегрированные возможности использования инструментов и поддерживает чередующееся мышление, что, по словам Cohere, повышает производительность на протяжении многоэтапной работы агентов.
Архитектурное моделирование и анализ кода. North Mini Code может анализировать и отображать системную архитектуру, выявлять зависимости и проводить анализ кода в больших кодовых базах. Благодаря контекстному окну в 256 000 токенов, он может обрабатывать значительные многофайловые проекты за один проход контекста.
Задачи агента, выполняемые в терминале . Модель обучена для работы в терминальных средах, обработки взаимодействий с оболочкой, скриптов пакетов и инструментов командной строки. Компания Cohere провела тестирование модели на Terminal-Bench v2, который тестирует агентов в реальных терминальных средах, а не в задачах генерации синтетического кода.
Как он был построен
North Mini Code — это разреженная модель смешанного набора экспертов, состоящая из 128 экспертов, из которых 8 активируются на каждый токен. Несмотря на 30 миллиардов общих параметров, вычислительные ресурсы, необходимые для вывода результатов, приближаются к модели с 3 миллиардами параметров. Ник Фрост, соучредитель Cohere, продемонстрировал её работу на Mac Studio через MLX с использованием около 20 гигабайт оперативной памяти — на той же машине, которую он использует для своей локальной работы над кодом.
Cohere обучила модель в два этапа: сначала с помощью контролируемой тонкой настройки, а затем с помощью обучения с подкреплением и проверяемыми вознаграждениями, выполнив более 70 000 проверяемых задач в примерно 5000 репозиториях, с исключением дубликатов, полученных с помощью SWE-Bench.
Вместо оптимизации на основе одной модели агента, Cohere обучался на трех. SWE-Agent использует многофункциональный интерфейс командной строки со специализированными командами. Mini-SWE-Agent использует один инструмент bash с необработанным выводом командной строки. OpenCode использует инструменты с индивидуальной типизацией, возвращающие структурированный JSON. Cohere сообщает о 10-процентном увеличении производительности по сравнению с OpenCode при использовании многокомпонентного подхода, сохраняя при этом производительность SWE-Agent.
Где это уместно
Компания North Mini Code выходит на рынок, где уже представлены Mistral Devstral Small 2, GitHub Copilot, Cursor и Claude Fable 5 — каждый из которых имеет свои особенности с точки зрения стоимости и развертывания.
В качестве основного бенчмарка Cohere сравнивает свою модель с Mistral Devstral Small 2, моделью с 24 миллиардами параметров. В ходе внутренних тестов, проведенных производителем, Cohere заявляет о 2,8-кратном увеличении пропускной способности и 30-процентном преимуществе по задержке между токенами по сравнению с Devstral Small 2 при идентичных аппаратных конфигурациях. Cohere также утверждает в своем техническом сообщении Hugging Face, что North Mini Code превосходит модели с открытым исходным кодом, количество параметров которых в 4 раза превышает количество параметров в представленных бенчмарках, включая модели с 120 миллиардами параметров.
Независимый рейтинг, присвоенный Artificial Analysis, ставит эту модель на восьмое место из 127 сопоставимых моделей с открытыми весами по скорости вывода данных — 210 токенов в секунду, со временем до получения первого токена 0,25 секунды против медианы по классу в 1,95 секунды. В рейтинге Artificial Analysis Intelligence Index она занимает 18-е место из 127. Один из недостатков, отмеченных в тех же данных: модель сгенерировала 75 миллионов выходных токенов для завершения расчета Intelligence Index против медианы по классу в 25 миллионов. В высокопроизводительных конвейерах обработки данных с использованием агентов такая многословность приводит к увеличению стоимости вывода и задержке.
«Внезапно люди начали задумываться: получаю ли я достаточную экономическую выгоду от токенов, созданных с помощью этой модели?» — сказал Фрост в видеоролике, посвященном запуску. «Локальное развертывание — это один из способов расширить возможности людей и сделать ИИ действительно полезным для них».
GitHub Copilot, Cursor и Claude Code работают по системе оплаты за использование или по подписке, без возможности развертывания на собственных серверах. Модель Claude Fable 5 от Anthropic, теперь самая функциональная из доступных на рынке управляемых моделей кодирования, работает по цене 50 долларов за миллион токенов. Для Фроста эта модель является полной противоположностью Fable.
«Он небольшой, экономичный, работает на Apache 2.0 и может быть развернут локально. Именно в этом направлении должны развиваться программы магистратуры в области прикладных наук: небольшие, с открытым исходным кодом, прозрачные и суверенные, в противовес большим, дорогим, проприетарным и гегемонистским», — написал Фрост в своем посте на X.
Что это значит для предприятий
Для команд, разрабатывающих конвейеры агентного программирования для производственной среды, релиз North Mini Code проясняет ряд решений, которые формировались в течение нескольких месяцев.
Специально разработанное обучение агентов теперь служит базовым показателем для оценки. Различие между моделями, доработанными для кода, и моделями, обученными специально для агентных рабочих процессов с проверенными вызовами инструментов и устойчивостью к многовариантным сценариям, теперь является существенным фактором при принятии решений о разработке конвейера. Любой поставщик моделей, заявляющий о возможности кодирования агентов, должен быть в состоянии ответить, использовало ли его обучение проверяемые агентные задачи или было адаптировано из универсальной базы.
Многословность — это скрытая статья расходов конвейера, которую не выявляют бенчмарки. Компания Artificial Analysis измерила, что North Mini Code генерирует в три раза больше выходных токенов, чем сопоставимые модели. Эта многословность накапливается на этапах вывода и задержки в конвейерах с большим объемом данных. Тестирование пропускной способности по отношению к фактическому объему рабочей нагрузки — это этап оценки, который пропускают рейтинги бенчмарков.
Разделение цен на новые технологии теперь стало реальным архитектурным решением. Fable 5 по цене 50 долларов за миллион выходных токенов и North Mini Code на одном H100 представляют собой реальный компромисс между контролем затрат и размещением данных, с одной стороны, и накладными расходами на управляемую инфраструктуру, с другой. Команды, работающие с высокопроизводительными конвейерами агентного кодирования, должны смоделировать оба варианта затрат с учетом своей фактической рабочей нагрузки, прежде чем принимать решение по какому-либо из них.
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
Подписка на рассылку
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.