Архив рубрики ~Лента новостей~

Train и eval в ARC-AGI-2 — это разные распределения

Train и eval в ARC-AGI-2 — это разные распределения
Train и eval в ARC-AGI-2 — это разные распределения

Если вы замеряете прогресс своего солвера на случайной подвыборке из train, вы замеряете его не на том наборе. Медианная задача train занимает 100 клеток на выходе, у медианной задачи eval их 225. Два и более тестовых входа требуют 6.9 процента задач train и 40.8 процента задач eval. Расхождение держится по всем шести структурным осям, которые я померил, и переживает поправку на множественные сравнения.

Дальше идёт распределительное сравнение обоих публичных наборов ARC-AGI-2, отпечатки файлов, на которых оно сделано, и подмножество из train, подобранное под eval по структуре. CSV со списком задач в конце.

Сразу оговорка, к которой я вернусь отдельным разделом: всё это про структуру, а не про сложность для человека. Свой же индекс я проверил против человеческих решений, и он проверку не прошёл.

Что показали измерения

Источник: habr.com

❌ Нет похожих статей с такими тегами

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Новости робототехники Оптимизированный контроллер на основе нечеткой логики снижает среднюю ошибку отслеживания роботизированной руки на 89% в ходе моделирования. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Новости робототехники Это простое изменение предотвращает застревание роев роботов. Новости робототехники Как я готовил робота-собаку Unitree Go2 на удаленке к МТС True Tech Champ Новости робототехники Гибкие роботизированные манипуляторы учатся предсказывать свои следующие движения. Новости робототехники Выращенные в лаборатории мышцы мышей позволяют крошечным роботам прыгать, плавать, ходить и хватать предметы. Новости робототехники Колесные, летающие и шестиногие роботы остаются на правильном пути благодаря новому методу обучения. Новости робототехники Мягкая роботизированная рыба сочетает в себе высокоскоростное плавание и трехмерную маневренность. Новости робототехники БИОЛОГ: НЕУМЕРЕННОЕ ИСПОЛЬЗОВАНИЕ ГАДЖЕТОВ НЕОБРАТИМО МЕНЯЕТ ЛИЧНОСТЬ РЕБЁНКА Новости робототехники Искусственный интеллект в БПЛА: преимущества и риски Новости робототехники Новая система искусственного интеллекта поможет машинам более детально понимать трехмерное пространство. Новости робототехники Ростех показал кобота с «умным» зрением Новости робототехники ДНК-роботы могли бы доставлять лекарства и выслеживать вирусы внутри вашего тела. Новости робототехники Человекоподобные роботы, играющие в футбол, забили важный гол в области робототехники, продемонстрировав высокую координацию движений. Новости робототехники Оптимизированный контроллер на основе нечеткой логики снижает среднюю ошибку отслеживания роботизированной руки на 89% в ходе моделирования. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Новости робототехники Это простое изменение предотвращает застревание роев роботов. Новости робототехники Как я готовил робота-собаку Unitree Go2 на удаленке к МТС True Tech Champ Новости робототехники Гибкие роботизированные манипуляторы учатся предсказывать свои следующие движения. Новости робототехники Выращенные в лаборатории мышцы мышей позволяют крошечным роботам прыгать, плавать, ходить и хватать предметы. Новости робототехники Колесные, летающие и шестиногие роботы остаются на правильном пути благодаря новому методу обучения. Новости робототехники Мягкая роботизированная рыба сочетает в себе высокоскоростное плавание и трехмерную маневренность. Новости робототехники БИОЛОГ: НЕУМЕРЕННОЕ ИСПОЛЬЗОВАНИЕ ГАДЖЕТОВ НЕОБРАТИМО МЕНЯЕТ ЛИЧНОСТЬ РЕБЁНКА Новости робототехники Искусственный интеллект в БПЛА: преимущества и риски Новости робототехники Новая система искусственного интеллекта поможет машинам более детально понимать трехмерное пространство. Новости робототехники Ростех показал кобота с «умным» зрением Новости робототехники ДНК-роботы могли бы доставлять лекарства и выслеживать вирусы внутри вашего тела. Новости робототехники Человекоподобные роботы, играющие в футбол, забили важный гол в области робототехники, продемонстрировав высокую координацию движений.

Оставить комментарий