Vals-Smith позволит тестировать ИИ-модели на вашей кодовой базе Бенчмарк-платформа Vals…

Vals-Smith позволит тестировать ИИ-модели на вашей кодовой базе

Бенчмарк-платформа Vals представила Vals-Smith — инструмент, который автоматически собирает кастомные тесты для моделей и coding-агентов на основе реальных репозиториев.

Идея простая: не смотреть только на публичные лидерборды, где модели соревнуются на усреднённых задачах, а проверять их на своей кодовой базе — со своими багами, архитектурой, стилем и странностями, которые обычно живут в проде годами.

Как работает Vals-Smith:
— анализирует GitHub-репозитории
— поддерживает открытые и приватные проекты
— берёт задачи из уже принятых PR
— создаёт описание проблемы, скрытые проверки и воспроизводимую среду
— отдаёт модели код до правок, но скрывает сам патч

Чтобы пройти тест, модель должна не просто написать правдоподобный фикс, а пройти скрытые проверки и не сломать существующую логику приложения. То есть меньше «на SWE-Bench всё красиво», больше «а в нашем легаси оно выживет?».