Kodacode релиз v1.0. Новая модель Koda pro основанная на GLM 5.2

Прошёл уже год с момента первого публичного релиза плагина Kodacode для VS Code. Большой путь прошли, у нас много изменений было, много нового внедрили и сегодня мы выпустили версию 1.0, и да — с лендинга убираем подпись «beta-тестирование». 

Мы сильно улучшили нашего агента в этом релизе и прокачали нашу топовую модель Koda pro в основе которой GLM 5.2. В момент первого запуска в нашем плагине даже не было режима «Агент», а сейчас он стал для нас основным. С момента запуска этого режима в прошлом сентябре мы накопили много опыта в создании кодового агента. В релизе 1.0 мы значительно улучшили агентность: обновили реализацию агентных инструментов, системный промпт и провели новую итерацию обучения моделей. В результате, на нашем бенче из задач, отобранных из SWE-bench Verified, на нашей старой версии Koda Pro метрики увеличились на 10%.

Koda Pro основанная на GLM 5.2 и близка по метрикам к топовым моделям.

Мы провели большое число замеров нашего агента с различными opensource-моделями. GLM 5.2 показала себя наилучшим образом. Также ещё подкрутили настройки под неё. Отдельная история — это оптимальный инференс модели и как её ужать в одну ноду. В итоге у нас получилось раскачать Koda Pro до уровня Claude Sonet 5.

Наш харнес агента сильно подрос. К примеру, Claude Code с Opus 4.8 на этом же сете показывает 85% — что совсем рядом с нашими 83%. Замер делали на medium по reasoning effort а для Koda Pro (GLM 5.2) – high (у GLM доступны high и max). Если сделать замер sonnet 5 и opus 4.8 c усилиями minimum, то их метрики через агента Kodacode 73% и 76% соответственно.

А вот такие метрики с нашим агентом получились на других opensource-моделях, которые мы оценивали как кандидаты:

Что мы улучшили в агенте:

Гибкая обработка ошибок

LLM своенравны вызове инструментов в агентном цикле. Даже если несколько раз капсом указать в системном промпте «ИСПОЛЬЗУЙ ПУТИ ОТНОСИТЕЛЬНО КОРНЯ ПРОЕКТА», в какой-то момент модель всё равно обязательно сгенерирует вызов инструмента с абсолютным путём. Решение — не пытаться заставить LLM генерировать вызовы конкретным образом, а корректно обрабатывать нештатные генерации. Если модель склонна генерировать абсолютные пути — пусть все инструменты умеют с ними работать. Для релиза 1.0 мы собрали самые типичные ошибки вызовов инструментов и добавили для них обработку.

Обратная связь от инструментов

Продолжение прошлого наблюдения: нужно грамотно реагировать на нештатную работу инструментов и давать модели понятную обратную связь. Например, вместо «read_file tool failed with error» лучше дать конкретную причину и указать на возможное исправление: «read_file tool failed: path src/index.js resolved to d:/user/repo/src/index.js does not exist. Did you mean src/index.ts?».

Отдельно скажем про инструмент редактирования файла. Теперь модель получает обратную связь от VS Code на каждое редактирование: «LSP found 1 error: accountUpdate is not defined». Так модель сразу отловит собственную ошибку перед тем, как идти дальше. Особенно хорошо это работает для языков со статической типизацией.

Номера строк

Поскольку агент чаще всего работает с кодом, для любых взаимодействий с файлами полезно использовать номера строк. Так модель эффективнее работает с контекстом, ведь навряд ли целиком прочитать файл на десять тысяч строк действительно необходимо для исправления одной функции в нём. Основной способ чтения кодовой базы для агента — найти нужную строку с помощью grep, а затем читать релевантные файлы небольшими порциями. Такое небольшое изменение, как добавление номеров строк при чтении файла, позволяет значительно экономить контекст модели.

Системный промпт

Системный промпт в агенте — это, как правило, дело вкуса пользователя. Мы всё ещё рекомендуем настраивать его под конкретную кодовую базу через AGENTS.md, KODA.md или короткую команду /kodamd. Но мы нашли несколько правил для системных промптов, которые работают всегда:

• Чётко разделять случаи использования инструментов: «используй grep_search для поиска по кодовой базе, не run_terminal_command с grep-командами».

• Не посвящать много места в системном промпте форматированию: по умолчанию все модели уже генерируют корректный Markdown.

• Подталкивать к параллельному вызову инструментов — так агент работает быстрее. Интересно, что модели хорошо понимают такую мета-инструкцию об их собственной работе: что такое инструмент и как генерировать их вызовы параллельно.

Более глубокая интеграция с IDE

Плагины Koda работают внутри IDE VS Code и JetBrains, и эти платформы дают плагинам богатый API. Теперь наши плагины пользуются этими API гораздо активнее:

• Все взаимодействия с файловой системой теперь идут не напрямую через отдельный процесс ОС, а через IDE API. Это решает множество проблем: некорректные кодировки, работа в удалённых средах (SSH/WSL/Docker), поддержка нескольких открытых workspace и другие. Все эти задачи уже решаются внутри IDE, нужно просто настроить интеграцию в плагине.

• Запуск команд run_terminal_command теперь происходит через встроенный скрытый терминал. Такая интеграция позволяет подтягивать пользовательскую конфигурацию терминала, включая все переменные окружения, а также корректно выполнять команды в удалённых средах.

• Фидбек о наличии ошибок от Language Server после редактирования файла, о котором уже упоминали выше.

Модели Koda Base и Koda Pro

Наверняка вы слышали, что важно, чтобы модель была заточена под харнес агента. Claude Code лучше всего работает с моделями Claude Sonnet или Opus, так же и Codex лучше всего работает с GPT. Мы в целом также видим важным дообучать модели и докручивать их под наши агенты и делаем уже это. Дообучение позволяет растить метрики качества и снижает число ошибок агента в работе с тулами. Уже готовим нашу новую Koda base модель, дообученную на качественом сете. По метрикам она +4%. На очереди новые версии модели Koda Pro.

Кстати, к слову, готовим новую модель Next Edit. Ранее писали тут про первую модель, которая по метрикам очень даже хороша, и про то, как мы её обучали.

Что ещё из нового:

В плагинах появился маркетплейс скиллов и MCP.

В качестве источника скиллов добавили сборку https://neuraldeep.ru/skills. Довольно заметный сервис, где собраны популярные скиллы с уклоном на отечественные сервисы. Также добавили наши скилы отсюда https://github.com/XCode-NLP/KodaSkills. И да если у вас есть свои классные скиллы для KodaCode, то заливайте их к нам в репу и они появятся в маркетплейсе для других пользователей.

MCP пока не интегрированы для установки по кнопке, но переходите в README и нужным образом заполняйте поля настроек MCP. В следующих релизах сделаем по кнопке.

Добавили возможность легко подключать отечественых провайдеров моделей.

Если у вас есть подписки или ключи отечественных сервисов доступа к моделям, то сейчас их легко можно добавить. В списке добавили наиболее популярные: vsellm.ru, bothub.chat, proxyapi.ru и neuraldeep.ru.

Возможность подключить к Telegram теперь не только в VS Code, но и в JB и CLI. Это очень удобно, если вам нужно отойти от компа, но хотите добить какую-то идею уже через телефон. Кстати, мы уже готовим веб-приложение, в котором можно будет взаимодействовать аналогичным образом, как из телеги, но уже с большим функционалом.

Обновили нашу документацию. Теперь она более менее актуальна и детально поясняет как пользоваться. Ранее все как это обычно бывает руки не доходили. Обновили отображение Next Edit в VS Code, должно стать заметно лучше при редактировании кода руками. Убрали зависания IDE на больших сессиях при стриминге модели. Добавили встроенный read-only diff в блоке вызова edit_file, чтобы изменения было проще проверить прямо в чате. И ещё из важного — добавили переключатель обязательного использования навыка, чтобы закреплять нужный навык для ответа агента. Также пофиксили кучу багов — перечислять долго.

Вообщем обновляйтесь и кайфуте)

Если еще не ставили то скачать и попробовать KodaCode вот тут: https://download.kodacode.ru

Если сомневаетесь в полезности Kodacode, то докину еще немного свежей статистики от наших пользователей о KodaCode.) И кстати, да у нас 22к пользователей зарегистрировано, 16к пользователей в месяц, 100к запросов на модели в день и 8B токенов трафик.

Подписывайтесь на наш ТГК https://t.me/kodacoderu, чтобы не пропустить новую информацию про Koda, AI и всё, что с ними связано! Да и делитесь вашим опытом в вайбкодинге с Kodacode в нашем сообществе https://t.me/kodacommunity.

Источник: habr.com