Архив рубрики ~Лента новостей~
Как измеряют LLM: параметры, бенчмарки и тесты на коленке
Если вам нужно точное число — берите его из первоисточника (arena.ai/leaderboard) на конкретную дату и с конкретным срезом.МодельДоступКонтекстНа BotHubGPQA-D, %SWE-bench Verified, %HLE, %Arena Elo (ориентир)УровеньClaude Fable 5Закрытая (приост.)н/д—94,695≈64,515101·ЗапредельныйClaude Mythos 5Закрытая (приост.)н/д—94,6—≈64,7—1·Запредельныйgpt-5.5-proЗакрытая1M✓≈94——≈15001·Запредельныйclaude-opus-4.8Закрытая1M✓93,688,645,7≈15002·Флагманgpt-5.5Закрытая1M✓≈9482,6—≈14952·Флагманgemini-3.1-pro-previewЗакрытая1M✓94,380,644,7≈14902·Флагманclaude-opus-4.7Закрытая200K✓94,282—≈14903·Сильнаяdeepseek-v4-proОткрытая1M✓≈9080,6—≈14553·СильнаяMiniMax M3Открытая≈1M—92,7 *80,5 *——3·СильнаяQwen 3.7 MaxОткрытая*≈256K—92,4 *80,4 *—≈14503·СильнаяKimi K2.6Открытая≈256K—в топ-1080,2 *——3·Сильнаяclaude-sonnet-4.6Закрытая200K (1M…
Читать