Как Generalist использует демонстрационные данные с использованием людей для обучения роботов
Generalist создан на основе исследований по изучению роботов на основе данных. Источник: Генералистп>
Лето – это создание воспоминаний. А для роботов это означает создание большого количества данных. Это также время заняться чтением.
Моим пляжным воздействием в июне прошлого года была исследовательская работа по теме “ Универсальный интерфейс манипуляции: обучение роботов в дикой природе без роботов в дикой природе“ (также известный как UMI). Научные открытия быстро легли в основу робототехнического стартапа-единорога Generalist с оборотом в 2 миллиарда долларов.
По сути, команды из Научно-исследовательского института Тойота (TRI), Колумбийского университета и Стэнфордского университета платформы для сбора данных, в которых используются конечные эффекторы, похожие на марионеток, международные управляющие люди, камеры GoPro, снимают реальные задачи, такие как мыть посуду и собирать предметы.
Научные разработки превращают обучающие данные в модели фундамента роботов, что позволяет обучаться коллаборативным роботам и выполнять эти задачи гораздо быстрее.
Бумажное демонстрационное изображение UMI, иллюстрирующая сбор человеческих данных с полной автономией с помощью коботов Источник: https://umi-gripper.github.io/
.
Модели быстро генерируют правила для коботов
В июне этого года на выставке Automate компания Generalist продемонстрировала живую, как ее модели могут быстро создавать политику для различных систем коботов. На одной стороне зала компания продемонстрировала, как она может заставлять манипуляторы Universal Robots (UR) складываться и собирать картонные коробки, а в Центре Маккормика она использовала манипуляторы Flexiv для ремонта роботов-пылесосов.
Согласно X-посту компании, хватающемуся показом на выставке: «Больше всего резонировало не только то, что модели могли решать поставленные задачи, но и то, что у них был интеллект, способность восстанавливаться в реальном режиме времени, когда что-то пошло не так, и это заставило людей по-другому задуматься об автоматизации».
п>
Универсальный специалист использует ряд роботизированных рук и рук
Затем, почти месяц спустя, ИИ-единорог опубликовал в блоге сообщение под названием «К машинем с тысячей рук». Чтобы лучше понять значение новейших достижений, я взял интервью у Саманты Кастельянос, инженера-механика-основателя компании.
Я хотел знать этот процесс, выходящий на рамки исследований, особенно то, как он трансформируется в промышленной реализации для ускорения роста и расширения использования в новых приложениях.
В качестве отправной точки Кастелланос поделился общей философией генералиста: «Наша главная цель — создать эффективную модель в мире. И, в конце концов, я думаю, что именно наша модель станет тем рвом, который будет отличать нас от других».
Инженер-механик имел в виду и без того барьерную сферу, которая в совокупности собрала более 4 миллиардов долларов, включая такие выдающиеся разработки, как Skild AI (2 миллиарда долларов), Physical Intelligence (1 миллиард долларов), Field AI (300 миллионов долларов) и RLWRLD (41 миллион долларов).
<х2>Данные и инструменты делают модели лучше
«Все, что мы делаем, — это улучшение моделей, — продолжает она. — Все типы собирают инструменты, все типы взаимодействий с. Это все невероятно важно. другой.»п>
Тактически, подход универсалистов к сбору данных является их отличительной чертой, — сказал Кастелланос.
«С аппаратной точки зрения наш захват — это всего лишь захват с одной степенью свободы [DoF], и я думаю, что он сильно отличается от того, с чего начинали некоторые другие люди, — сказала она. — И я думаю, что в простых конструкциях есть огневость. В большинстве случаев простые вещи часто оказываются надежными, и это определенно один из наших основных критериев с точками аппаратного обеспечения “
.
“Я как инженер по аппаратному обеспечению уделяю особое внимание простоте и надежности, потому что для захвата невозможно, чтобы линия отключалась у женщин на пять минут,” — добавил Кастелланос. “Вы должны иметь возможность быстро его отключить. Вам нужно снова активировать линию. Если замена пальца займет две минуты, это здорово. Ваша линия не работает всего две минуты, и это мне очень нравится в этой компании.»
п>
Запуск перехода от сбора данных к рабочей руке робота
Удивительно, как быстро универсальные переходы из коллекции к работающему манипулятору.
«Все данные, которые мы собрали для этой работы [демонстрация рук], были данными, которые были собраны в нашем собственном офисе в Бостоне, а некоторые также в нашем калифорнийском офисе, по словам Кастелланоса. “Таким образом, для количества часов происходит разброс. Все это мало. Я записал все свои цифры. У нас самое большее около 80 часов. Наименьшее количество часов было два. Как и в случае с овощечисткой, в видео есть небольшой момент с овощечисткой, сбор данных занял всего два часа.»
Затем процесс перешел от людей к политике роботов и дальнейшей доработке собственными машинами.
«На сборе данных о людях от двух до 80 часов мы брали для различных задач, а затем мы также брали данные о роботах», — вспоминает Кастелланос. “ Итак, это будет сбор данных о роботах: запуск моделей, обработка данных, полученных только человеком, на роботе, а затем сбор дополнительных данных. данные.”
“Обычно это составляет несколько минут, не более 80 минут, но также всего четыре,” она уточнила. “Как и с лентой для рук, это была очень быстрая задача. Это было всего около секунды. Итак, для сбора данных робота я собрал всего около 50 идеальных эпизодов сбора данных с помощью ленты на роботе, и это заняло всего четыре минуты. И это нам понадобится, чтобы получить довольно надежную модель, способную разматывать ленту до 10 раз подряд».
Инженер проиллюстрировал процесс дальше: «Поэтому я думаю, что самым большим сюрпризом в этой работе было то, что изначально мы не знали, насколько хорошо это будет работать. Мы учитываем, что да, наша модель похожа на физическую модель, где конечный эффектор не имеет значения; мы могли бы быть агностиками в отношении захватов. Так что это была наша первая настоящая попытка найти это.”
“Итак, сначала пришла, над которой мы работали, была рука отвертки, и поначалу она не работала, но оказалось, что я просто недостаточно долго тренировал ее с первой попытки,” — признался Кастелланос. “Итак, я просто натренировал его на большее количество шагов и в итоге получил руку с отверткой, которая работала очень хорошо.»
Зарегистрируйтесь сейчас и сэкономьте на пропуске в RoboBusiness 2026 <ч2>Модель переносит манипуляции в промышленностич2>
Хотя эти модели проявились хорошо в лаборатории, моим главным вопросом было: “Что произойдет, когда Generalist будет внедрено в промышленность?”
«К нам приходит много разных клиентов. Те, кому нужно комплексное решение. Мы даем им все. Они запускают нашу модель. Мы даем им оборудование. Им не нужно ничего делать самостоятельно», — ответил Кастелланос. “А еще есть другие клиенты, которые более разбираются в роботах и у которых уже есть UR [рука], и эта роботизированная система может использовать вашу модель для работы.”
“Ничего не обсуждается относительно того, как мы собираемся это интегрировать,” добавила она. Кроме того, модель совершенствуется еженедельно и почти ежедневно, настолько, что мы все еще изучаем, какая бизнес-модель имеет наивысший смысл. Но всё на столе.»п>
Перекалибровка является отличительным признаком
Кастелланос сказал, что одним из самых больших отличий Generalist является то, что его модель очень быстро перекалибровывается, когда что-то идет не так.
«Таким образом, он учится наводить порядок, когда что-то падает. Он учится передавать объект из одной руки в другую. Все это уже запрограммировано», — сказала она. Таким образом, уже имеется текущий объем данных для восстановления. Даже если он не был взят в рамках данной задачи, например, задача очистки и очистки, которая была в конце нашего видео о 1000 раздачх, видно, что это своего рода хаотичная модель.”
“Я нахожу это интересным, потому что здесь использовались методы восстановления, которых нет в наборе данных для конкретной задачи, например, использование кисти другой рукой; это двустороннее поведение, возникшее из ниоткуда,” — заметил Кастелланос. «Возможность восстановления уже заложена, и я думаю, именно это делает нашу модель уникальной, потому что она научилась восстанавливаться после других взаимодействий с набором данных нашего стола».”
“Что касается развертываний, я думаю, что это особенно полезно для восстановления в режиме постоянного времени, когда на линии фронта возникают проблемы, например, когда люди или роботы что-то роняют,” заявила она. “Когда дела идут не совсем идеально, шанс определенно есть. И чем лучше будут наши модели, тем больше вероятность того, что восстановление уже станет возможным.”
п> <ч2>Мобильные манипуляции и гуманоиды не за горамич2>
Заглядывая в будущее, поскольку универсалисты используют все больше своих моделей в других условиях, я задаюсь вопросом, будут ли гуманоиды считаться.
«Мы еще не работали на гуманоиде, но у нас есть компьютерный сад, на котором работают все наши модели», — ответил Кастелланос. “Я все еще думаю, что это было бы осуществимо для присутствия робота. Нам просто нужна возможность переместить этот компьютер на мобильную платформу. Так что нет никакой работы в сфере экономики, которую необходимо проделать. И если это будет возможно, робот-гуманоид, у которого уже есть много вычислительных ресурсов, я был бы рад запустить его на гуманоиде.»
Следует отметить, что линия UMI уже применяется для гуманоидных роботов общего назначения. Соавторы UMI Расс Тедрейк и Бен Берчфилд, оба ранее работавшие в TRI, впоследствии стали соучредителями Walden Robotics, которая внедряет большие модели поведения к мобильным манипуляторам в конкретных промышленных условиях.
«Я здесь просто для того, чтобы посмотреть, что произошло, потому что иногда очень трудно предсказать, действительно хорошо будут работать эти модели», — объяснил Кастелланос. “Мне бы хотелось, чтобы он делал больше этого самостоятельно, без подсказок. Возможность дойти до того момента, когда нашим моделям потребуется пара минут данных, и они смогут просто корректировать задачу и восстанавливаться после странных крайних случаев, я очень рад видеть, что это осуществилось, и я думаю, что это может быть раньше, чем мы думаем.»
.
Мобильный манипулятор Walden’s сложные задачи по сборке захвата Источник: Walden Robotics
.
Пост «Как универсальный специалист использует демонстрационные данные людей для обучения роботов» впервые появился в The Robot Report.
Оцените материал:
