В этом рейтинге обновлены: Gemini 3, GPT 5.1, GLM 4.6, Kimmi K2.
Предыдущая часть тут: https://habr.com/ru/articles/951884/
Результат сразу — для тех кто не любит читать:
Некоторые условия эксперимента:
Используется Агент Cursor последней версии
MCP серверы из комплекта: https://vibecoding1c.ru/ Подключен сервер по справке 1С и по проверке синтаксиса. Ни в коем случае не подключен TemplateSearch и Codecheck (1С напарник) — и ним просто сети находят нужные шаблоны и получается почти 100% результат
Rules отсюда
На момент проведения эксперимента LMArena выглядит следующим образом:
SWE-bench:
Таким образом мы вцелом охватываем топ сетей для генерации кода.
Задачи привожу только для повторения:
Задача 1:
Напиши код на языке 1С который заполняет массив случайными целыми числами и потом сортирует его методом пузырька
Задача 2:
Создай таблицу значений с полями «номенклатура, Количество, Сумма, Дата» заполни тестовыми данными и напиши код который демонстрирует списание товара из этой таблицы по методу FIFO. При списании указывается только количество и номенклатура. Это должен быть код на языке 1С
Задача 3:
есть таблица — Основная таблица регистра накопления. В ней есть колонки Номенклатура, Дата, Количество, а также Цена. Пусть регистр накопления называется ОстаткиТовара. Напиши запрос на языке 1С которые получает цену товара на заданную дату. Дата задаётся в параметре запроса
Задача 3.1:
есть таблица — таблица значений. В ней есть колонки Номенклатура, Дата, Количество, а также Цена. П. Напиши запрос на языке 1С которые получает цену товара на заданную дату. Дата задаётся в параметре запроса. Это должен быть именно запрос а не код для перебора таблицы
Задача 3.2:
есть таблица в базе 1С. В ней есть колонки Номенклатура, Дата, Цена. Это непереодический регистр сведений «цены товара» (использовать СрезПоследних() не получится). Напиши запрос на языке 1С которые получает актуальную (последнюю по дате) цену всех товаров на заданную дату. Дата задаётся в параметре запроса.
Задача 4:
Есть справочник номенклатура с неограниченным числом уровней иерархии. Нужно запросом вывести все его группы и уровень иерархии каждой. Запрос на языке 1С.
Задача 5:
Используя API с сайта ЦБ РФ https://www.cbr.ru/development/sxml/ напиши код на языке 1С Предприятия для загрузки курса доллара за последний год на каждый день в таблицу значений
Задача 6:
Есть файл Excel с колонками: Артикул, Наименование, Описание, Единица измерения. Есть справочник Номенклатура в 1С с аналогичными реквизитами. Напиши код на языке 1С для загрузки данного Excel файла в справочник.
Задача 7:
У меня есть две одновременно открытые управляемые формы в 1С. На одной из форм есть заполненная табличная часть «товары», мне нужно передать наполнение этой табличной части во вторую форму чтобы отобразить его на ней. Напиши код для одной формы и для второй.
Задача 8:
У меня в конфигурации есть справочник Номенклатура — напиши код на языке 1С для его выгрузки в идентичную конфигурацию.
Задача 9:
В конфигурации 1С Справочник Номенклатура, у него на форме элемента есть элемент с типом «Декорация» с видом «Картинка», называется «Картинка» а также реквизит «Картинка» с типом «ХранилищеЗначения». Напиши код который отображает картинку из реквизита при открытии формы и при нажатии на картинку на форме даёт возможность выбора файла с картинкой и перезаписывает её для элемента
Задача 10:
На форме документа 1С основной реквизит «Объект». У документа есть реквизит «Комментарий». Напиши код, работающий при нажатии на кноку «Записать комментарий», который в комментарий документа добавляет слово «Тест» — к текущему комментарию и записывает документ в базу данных не закрывая формы.
Задача 11:
На форме документа 1С есть табличная часть «товары». В документе обычно более 1000 строк. В табличной части есть реквизит «Сумма». Напиши код который работает при нажатии на кнопку «общая сумма» который должен посчитать сумму по всем строкам и вывести её пользователю
Результаты
Самый главный результат — кажется для топовых LLM большинство задач бенчмарка слишком просты. С момента выхода первой статьи качество SOTA моделей сильно выросло конечно. Но давайте что мне есть сказать по моделям.
Gemini 3 Pro:
Модель получилась хорошая, существенно лучше чему Gemini 2.5, но Claude 4.5 оказалась на удивление слишком удачной моделью. Gemini 3 не удалось её превзойти. Итого — она лучше Gemini 2.5, достаточно существенно, но всё ещё уступает Claude 4.5.
Кроме того, кажется пока Sonnet 4.5 существенно более адаптирована к Cursor и к работе в агентском режиме. Знает когда нужно использовать Grep, когда Web поиск, когда нужно выполнить команды в терминале и какие. И всё таки более ориентирован на достижение конечной цели. Суммарно Gemini 3 Pro пока всё так же уступает Sonnet 4.5
GPT 5.1:
По качеству ответов существенной разницы с GPT 5 не получается. Но скорость выросла просто в разы, если не в десятки раз. Я бы даже сказал из всех представленных сейчас это самая скоростная модель.
GLM 4.6:
Лучше чем 4.5 на порядок. Вцелом текущие её результаты даже получше чем у Qwen3 Coder. Скорость тоже на высоте. Вообще хорошая модель. Несколько недооцененная как по мне.
Kimmi K2:
Эту модель я бы вычеркнул из списка и пока не рекомендовал для использования в продакшн.
Периодически ответ модели в Cursor выглядит примерно так:
И это не разовая ошибка. В OpenRouter модель часто работает уж очень долго. В Cursor, собственно, тоже весьма не быстро. С учетом того что результаты модели весьма средненькие на первых тестах завершать их, пожалуй не имеет смысла.
Думаю это крайний обзор в таком формате, уже готов сервис для оценки моделей и скоро будет презентован. Можно будет добавлять свои задачи и результаты. Получим что то вроде LmArena но с 1С-ной спецификой. А пока всем спасибо за внимание, хотите узнать больше о развитии ИИ и вайбкодинга в 1С — подписывайтесь на канал https://t.me/comol_it_does_matter
С наилучшими пожеланиями, не пишите код руками :).
Источник: habr.com
