NVIDIA рассказывает, как оценить политику робототехники, предназначенную для реального развития

RoboLab — это платформа NVIDIA для сравнительного анализа. | Источник: NVIDIA

По мнению NVIDIA, базовые модели робототехники демонстрируют значительный прогресс. Лучшие на сегодняшний день системы могут стать лидерами на естественном языке, чтобы занять, расположить, классифицировать и манипулировать международными объектами.

Но по мере того, как эти модели становятся все более функциональными, их строгая оценка становится одной из самых сложных нерешенных проблем в этой области. В этом блоге мы представляем основные проблемы и наши методы их решения.

Почему текущие тесты не соответствуют требованиям

Реальное развитие дорогое, медленное и трудно воспроизводимое. Эффективность робота во втором мире можно было тщательно оценить, нам нужен разумный прокси. Моделирование — это оценка среды для проведения крупномасштабных оценок роботов. Тем не менее, большинство существующих тестов имеют несколько серьезных проблем.

Наложение визуальных областей при обучении и квалификации

Во-первых, данные и окружающая среда, используемые при обучении и политической политике, почти всегда берутся из одного и того же визуального источника. Когда модель точно воздействует на смоделированные данные и измеряется в той же смоделированной среде, высокая производительность показывает только то, что модель запомнила настройки, а не то, что она может обобщать. Это остается критической проблемой при оценке роботов, поскольку визуальное определение качества не достигло паритета с реальными изображениями.

Подходы Real2sim решают эту проблему, реконструируя фотореалистическую среду из первых изображений с использованием таких методов, как рисование или разбрызгивание по Гауссу, но настройка каждой сцены может занимать более масштабное тестирование, что делает крупномасштабное тестирование непрактичным.

Рисунок 1. Существующие тесты для моделирования основаны на перекрытии визуальной области и предметной области, низкой реалистичности и высоких затратах на генерацию сцен и задач. Традиционная процедура генерации сцен часто обусловлена ​​низким качеством рендеринга, создавая большие визуальные пробелы в Sim2real. Среды, реконструированные в 3D (3DR), привносят больше реализма в смоделированную среду, но часто за счет человеческого прогресса, затраченного на создание каждой сцены. | Источник: NVIDIA

NVIDIA показывает насыщенность тестов

Во-вторых, создание задачи — утомительное занятие. Большинство тестов имеют фиксированный набор задач, который редко обновляется. Это приводит к насыщению производительности: модели быстро определяют максимальные результаты в статических наборах задач, из-за чего становится невозможным определение, какая модель действительно более эффективна. Когда ваша система сообщает о более чем 90% успешных результатов в одном и том же тесте, цифры становятся менее значимыми.

Рис. 2. Почти в каждой статье о моделях представлены результаты этого теста, но высокая сложность вызывает получение значимых выводов о производительности моделей. | Источник: NVIDIA

Диагностический пробел

Существует и более глубокий диагностический пробел. Бинарный показатель успеха/неуспеха не мозг, почему робот потерпел неудачу.

Не смутил ли его цвет объекта? Формулировка инструкций? Сдвинутая камера? Эффективно ли он выполнил задачу в соответствии с конкретной языковой инструкцией?

Без атак на эти вопросы исследователям практически нечего иметь гражданство.

Рис. 3. Пример оценки для задачи «Поместите мерный стаканчик и синий мерный стаканчик для стратегии pi0.5». NVIDIAп> <х3>Статистическая достоверность

Каждый физический движение и политика меняют некоторую стохастичность. Единый показатель успеха при внедрении N почти ничего не говорит вам о том, что вы должны быть уверены в истинной политике эффективности. Если политика успешна в девяти случаях из 10, то она «успехом на 90%», или же это может быть политика с 80% или 95% дохода, которому повезло при небольшом выборе? Чтобы решить это, мы рассмотрим метод Клоппера-Пирсона.

Рис. 4. Интервал Клоппера-Пирсона — это метод ограничения биномиальной вероятности успеха Источник: NVIDIA

|

Метод Клоппера-Пирсона — это «точный» метод построения биномиального доверительного интервала вокруг вероятности успеха, выделенного непосредственно из биномиального распределения.

Давайте рассмотрим следующий пример: для наблюдения уровня успеха 90% при всего 70 95% доверительный интервал Клоппера-Пирсона противопоставляют полные 15,4 процентных пунктов (уровень успеха от 80,5% до 95,9%). При 10:30 событиях эта ошибка сужается до точки ±2 процентных пунктов (уровень успеха от 88,0% до 91,8%).

Большинство опубликованных тестов не проводят достаточного количества развертываний для достижения статических инноваций при характеристиках производительности двух политик.

Рис. 5. 95%-й шанс Клоппера-Пирсона для успеха 90%, синие штрихи обозначают CP около 90%. в 15 раз большее количество развертываний (с 70 до 1030) Источник: NVIDIA

. <х2>NVIDIA представляет RoboLabч2>

NVIDIA создала платформу для сравнительного анализа под названием RoboLab для решения этих проблем. RoboLab построен по трем принципам:

. <ол>

ол>

Рис. 6. Тесты производительности должны адаптироваться к новым возможностям в наименьшей степени.

Бенчмаркинг роботов в период агентного ИИ

Рис. 7. Трехэтапный процесс создания сцен, задач и среды RoboLab. | Источник: NVIDIA

RoboLab отобразите настройки реальной комнаты: разделите компоненты, добавьте языковую инструкцию и запустите конфигурацию. Имя объекта, пользователи могут просто размещать объекты на сцене и следить за языковой процедурой — или три! — для этой задачи весь процесс занимает всего несколько минут.

RoboLab также обладает навыками агента, которые агент кодирования может использовать для создания новых задач непосредственно в рабочем процессе пользователя. Эта эффективность также обеспечивает соответствие требованиям в будущем: по мере появления универсальных моделей можно подключать новые задачи и удалять окна.

<ч2>Принести своего роботач2>

Создание общей политики в отношении роботов требует решения большого количества конкретных задач, и ни при каких обстоятельствах не следует упоминать обильные данные по каждому варианту реализации. В лаборатории могли находиться тысячи часов с Франки, но почти ни одного с гуманоидом, и наоборот. Тест, направленный к одному конкретному роботу, заставляет каждого пользователя использовать один и тот же пробел в данных, независимо от того, что он на самом деле пытается или создает протест.

Задачи RoboLab не зависят от роботов и политиков, что означает, что один и тот же набор задач может оцениваться независимо от решения робота или политики. Пользователи могут свободно выбирать дизайн; RoboLab просто компилирует одни и те же сцены и задачи для любого робота, который они жертвуют.

Это также имеет смысл, поскольку в будущем количество вариантов воплощения робота увеличивается; не так важно, какой робот использовался для генерации данных и обучения, лишь важно то, что он решил задачу.

<ч2>Задачи, специальные для возможностейч2>

Полезный тест должен изолировать возможности производителя, а не просто проводить измерения, выполнять роботизированную задачу. Мы заметили, что общее назначение манипуляций основано как минимум на трех профессиональных навыках:

.

• Визуальная компетентность, наконец, может ли политика распознавать атрибуты восприятия, такие как цвет, размер и семантическая категория, и действовать в соответствии с ними, например, отделять сжатую красную чашку от других предметов на столе.

<ли>Процедурная компетентность оценивает мышление, ориентированное на действие: перемещение объектов, их переориентацию или понимание того, как взаимодействовать с этим.

<ли>Реляционная компетентность исследует пространственную и лингвистическую логику, включая союзы («возьми апельсин и лайм»), счет и относительные положения, например, слева или внутри.

Разрабатывая задачи, методы, из которых нацелена на одну или несколько способностей, мы можем обеспечить широкий охват всех возможностей, необходимых для политики общего назначения. В RoboLab-120, наш первоначальный тест, состоящий из 120 настольных задач по сбору и размещению, курируемых людей, может решить задачу, помеченную множеством доступных возможностей, поэтому охват теста всеми компетенциями остается явным и сбалансированным и корректируется по добавлению меньшего числа новых задач.

тр>

тр>

тр> тело> стол> Таблица 1. Компетенция — это способность политики выполнять задачи в области возможностей. NVIDIA проиллюстрировала несколько примеров компетенций и навыков, для которых она разработала задачи в своем наборе тестов. <ч2>Оценка политики роботовч2> <х3>Какие показатели показывают, что политика в отношении роботов хороша?

Сам по себе показатель успеха почти ничего не говорит о том, как робот выполняет задачу, а только то, пересек ли он финишную черту. Политика, которая захватывает нужный объект, но отбрасывает его раньше времени, может быть зарегистрирована как неудачная, тогда как политика, которая достигает успеха только после резких, извилистых или медленных действий, может быть зарегистрирована как неудачная. Ни один из случаев не зафиксирован с использованием двойного успеха.

Для решения этой проблемы RoboLab использует три дополнительных инструмента оценки, которые вместе рисуют более полную картину политики политики:

• Оценочные баллы для задания: Частный балл дается для выполнения подзадачи в рамках многошаговой инструкции, поэтому робот, который захватывает нужный объект, но не попадает в цель падения, не получает такой же балл, как тот, который вообще ничего не делает.

<ли>Качество траектории: Измерение эффективности движения на протяжении длительного пути и SPARC — длина спектральной дуги — метрика, ориентированная на человека, которая отражает плавность в спектре скорости Фурье. Предпочтительные более короткие и плавные движения.

• Скорость выполнения:Измеряет скорость конечного эффекта, еще один показатель, ориентированный на человека, который отражает восприятие человека, что более быстрое движение является гарантией.

NVIDIA определяет, когда политика роботов не работает

Знать, почему задача стала не так, так же важно, как и, что это произошло. Помимо обычных показателей производительности, RoboLab глубже изучает, почему политика успешна или терпит неудачу, и где именно в процессе что-то выходит из строя.

Регистрация событий сбоев автоматически отслеживает захваты неправильных объектов, падения объектов и останавливает захваты, точно определяя, где срывается выполнение задачи.

Давайте рассмотрим следующее задание: «Собери все пластиковую бутылку в мусорное ведро». Полис собрал все пластиковые бутылки и положил их в мусорное ведро. Однако он также положил в корзину еще один апельсин.

Можно заметить, что техническая задача была успешно решена! Техническая задача может быть решена в соответствии со спецификацией, однако робот все равно может схватить не тот объект по пути, прежде чем восстановиться.

Рис. 8. Три отдельных события сбоя произошли во время выполнения политики при успешном развертывании ‘Уберите все пластиковые бутылки в мусорное ведро.’ | Источник: NVIDIA

Для проверки событий RoboLab включает встроенную панель, которая отображает эти события по мере их возникновения во время эпизода, поэтому пользователи могут сразу перейти к кадру, в котором происходит сбой. Это преобразование превращает исправление из ручной игры в угадайку постфактум в нечто вроде отладчика поведения роботов.

Вместо того, чтобы спросить: «Сработало ли это?», пользователь может спросить: «Где именно это перестало работать, и какой контекст привел к этому событию?»

Рис. 9. RoboLab включает встроенную панель для просмотра событий во время просмотра эпизодов. сбои и их контекст | Источник: NVIDIA

.

Насколько надежна ваша политика в отношении роботов против стареющей сложности?

Реальное развертывание редко обеспечивает чистые и контролируемые условия эталонного тестирования. Инструкции сформулированы бесчисленными методами, сцены часто загромождены, не разбросаны, задача может растягиваться на несколько шагов, а не на один или два.

Чтобы понять, действительно ли политика надежна, мы должны учитывать производительность с учетом возрастающей сложности языка, сцен и горизонта задач.

Сложность языка

Робот, который понимает только четко сформулированные команды, имеет ограниченное применение в лабораторных условиях, поскольку люди, естественно, формулируют сложные сложные и неточные методы. Тестирование инструкций в нескольких странах показывает, что политика в значительной степени зависит от точных формулировок и задач древнего понимания.

RoboLab позволяет пользователям следовать нескольким языковым инструкциям по характеристикам задач и выборам, какой вариант использовать во время выполнения. В своем начальном тесте NVIDIA обратилась к трем адресам: расплывчатый, по умолчанию и конкретный.

Компания обнаружила, что расплывчатые формулы постоянно приводят к сбоям, что указывает на то, что текущие модели по-прежнему не поддаются формулировке. Также обратите внимание, что слишком много деталей в инструкциях иногда может привести к снижению производительности.

Рис. 11. Варианты сцен, которые могут отражать производительность. Тестирование каждого партнера при одном внедрении экспоненциально зависит от количества экспериментов. NVIDIA представила анализ чувствительности, который позволяет выявлять переменные, влияющие на производительность, без изолированного тестирования. | Источник: NVIDIA

Определенные изменения окружающей среды могут привести к падению производительности, но в масштабе развития каждая переменная в отдельности становится быстро невозможным. Вместо этого мы проводим оценку вариантов событий одновременно и применяем анализ чувствительности, который определяет, какие переменные условия окружающей среды больше влияют на успех или неудачи, превращение идей, таких как «расположение камеры, может иметь значение», в количественных выводах.

Принимая во внимание вариации выпуска эпизодов 𝜃 с наблюдаемым результатом 𝑥 — например успех, задачи — апостериорное распределение 𝑝⁡(𝜃 ∣𝑥) ∝𝑝⁡(𝑥 ∣𝜃)⁢𝑝⁡(𝜃) характеризует, какие условия 𝜃 наиболее ярко выражены с результатом 𝑥.

NVIDIA оценила этот апостериорный динамик с помощью Neural Posterior Estimation (NPE), который позволяет компании точно определить, какая переменная окружающая среда ответственна за определенное снижение производительности, а не определить влияние каждого фактора по отдельности.

<ч2>Почему это важноч2>

Сравнительный анализ робототехники по-прежнему сильно отстает от остальных исследований в области искусственного интеллекта, и без платформы для сравнительного анализа трудно измерить прогресс. В связи с тем, что по мере того, как политика становится более эффективной, одни только показатели успеха не могут быть нам, действительно, модель обобщает или просто запоминает условия тестирования, и этот разрыв будет отображаться только по мере того, как можно сказать, с видимыми моделями.

Путь вперед оценки, которые требует столь же быстро, как и модели, которые она измеряет: контрольные показатели, которые расширяют, а не насыщают, показатели, которые диагностируют, а не просто концепцию, и анализ, который сообщает исследователям не только о том, что, как известно, хорошо работает ее политика, но и о том, как. RoboLab предлагает масштабируемый путь к диагностической ценности роботов для отдельной политики с использованием анализа.

Об авторе

Сюнин Ян — старший научный сотрудник исследовательской лаборатории NVIDIA в Ситле. Ее исследовательские интересы включают модели основ роботов, особенно методы наблюдения и обобщения возможностей, а также широкий спектр наблюдаемых эффектов от полевой робототехники, навигации внутри помещений и манипулирования роботами. До работы в NVIDIA она получила докторскую степень. степень бакалавра робототехники в Университете Карнеги-Меллон.

Примечание редактора: Эта статья опубликована в блоге NVIDIA.

Публикация NVIDIA о том, как оценить политику роботов общего назначения для реального развертывания, впервые появилась в The Robot Report.

Источник