Кажется, что мир ИИ застрял на повторе: каждую неделю новая модель, новые демо и ещё один «прорыв», который завтра никто и не вспомнит. Но если отойти на шаг и посмотреть на картину в большем масштабе, очевидно, что метрики уверенно ползут вверх.
Epoch AI собрали свежую инфографику по ключевым бенчмаркам и посмотрели, что изменилось за 12 месяцев. Короткий вывод: дела уверенно идут в гору по всем направлениям! 🤴
📊 Какие бенчмарки использовали?
🟢GPQA (Graduate-level Physics Questions Answers)
Проверяет, насколько хорошо ИИ решает сложные научные задачи по физике, химии, биологии, которые требуют глубокого понимания предмета, а не просто поиска ответа в интернете.
🟢MATH (Mathematics Aptitude Test of Heuristics)
Тесты на математические задачи исследовательского уровня, где обычные школьные методы уже не работают.
🟢Aider Polyglot
Задачи по программированию и тому, насколько ИИ способен не просто написать код, а решить действительно нетривиальные кейсы, требующие мышления.
🟢SimpleBench
Проверка на базовый здравый смысл и бытовую логику, задания, с которыми человек справится легко, а ИИ часто ошибался до недавнего времени.
🟢VPCT (Visual Physical Causality Test)
Тест на понимание элементарной физики по изображениям, считывает ли модель причинно-следственные связи в картинках.
Цифры из графика:
Aider Polyglot (программирование): +52% и максимальный скачок до 85%
VPCT (визуальное понимание): +26% до 66%
GPQA Diamond (наука): +25% до 87%
SimpleBench (здравый смысл): +21% до 62%
FrontierMath (сложная математика): +23% до 31%.
❗️Проценты на графике это относительный прирост по точности (accuracy), а не абсолютный процент новых правильных ответов.
