Сравниваем LLM, 12 тестов для среднего класса: три Sonnet против GigaChat 2 MAX и YandexGPT Pro 5.1

В первой статье цикла мы гоняли по 12 тестам Opus 4.8, GPT 5.5 и Gemini 3.1 Pro, во второй устроили дуэль тяжеловесов Claude Fable 5 и GPT 5.5 Pro. В комментариях нас несколько раз спросили: а что там у моделей попроще и, главное, у отечественных? Спрашивали — отвечаем. Сегодня на ринге средний класс: три поколения рабочей серии Anthropic — Claude Sonnet 4.5, Sonnet 4.6 и свежий Sonnet 5 — против старших отечественных моделей: GigaChat-2 MAX от Сбера и YandexGPT Pro от Яндекса.

Сразу о главном: почему такой состав. Мы долго думали, по какому принципу собрать пятерку, чтобы сравнение не превратилось в избиение младенцев, и остановились на цене. Fable 5 и GPT 5.5 Pro из прошлой статьи — это «Формула-1»: один запрос с большим вложением у них стоил сотни, а то и тысячи рублей. Сегодняшние участники — то, чем реально возят грузы: Sonnet у Anthropic — массовая серия, в разы дешевле Opus, а GigaChat-2 MAX и YandexGPT Pro хоть и старшие модели своих экосистем, но по цене токена играют в той же лиге, что и Sonnet, а не в лиге западных флагманов. Забегая вперед: по нашим же чекам типовой запрос без вложений у всей пятерки стоит единицы рублей. Один ценовой класс — значит, сравнение равных. А вот внутри класса, как выяснится, разброс возможностей огромный.

Методика не меняется. Никаких бенчмарков и маркетинга — только реальные будничные задачи. Тестируем через агрегатор нейросетей BotHub: он работает по API, а этот метод избавлен от подпорок и костылей, которые неявно помогают моделям в их веб-интерфейсах. Заодно сразу видим, во сколько каждое решение обходится по деньгам. Затраты по-прежнему измеряем в CAPS — внутренней валюте BotHub, привязанной к числу затрачиваемых токенов. Напомним, за рубль можно купить от 4000 до 6500 CAPS в зависимости от объема покупки, считаем по курсу примерно 1 рубль = 6370 CAPS.

Читать далее

Источник: habr.com