Компания DAIMON Robotics хочет наделить роботизированные руки тактильными ощущениями.

Данная статья подготовлена при поддержке компании DAIMON Robotics.

В апреле этого года гонконгская компания DAIMON Robotics выпустила Daimon-Infinity, который, по ее описанию, представляет собой крупнейший в мире набор данных о роботизированных системах для физического искусственного интеллекта, обладающий высоким разрешением тактильного восприятия и охватывающий широкий спектр задач — от складывания белья дома до производства на заводских сборочных линиях. Проект поддерживается совместными усилиями партнеров из Китая и со всего мира, включая Google DeepMind, Северо-Западный университет и Национальный университет Сингапура.

Этот шаг свидетельствует о ключевой стратегической инициативе для DAIMON, компании, существующей уже два с половиной года и известной своим передовым оборудованием для тактильных датчиков, в первую очередь монохромным тактильным датчиком на основе машинного зрения, который вмещает более 110 000 эффективных сенсорных элементов в модуль размером с кончик пальца. Используя свою высокоразрешающую технологию тактильного восприятия и распределенную сеть сбора данных вне лаборатории, способную генерировать миллионы часов данных в год, DAIMON создает крупномасштабные наборы данных для манипуляций роботами, включающие огромные объемы данных тактильного восприятия. Для ускорения практического внедрения воплощенного ИИ компания также открыла исходный код 10 000 часов своих данных.

Профессор Майкл Ю Ван, соучредитель и главный научный сотрудник компании DAIMON Robotics, разработал архитектуру Vision-Tactile-Language-Action (VTLA), подняв тактильные ощущения на один уровень со зрением.

За этой стратегией стоит профессор Майкл Ю Ван, соучредитель и главный научный сотрудник DAIMON. Профессор Ван получил докторскую степень в Университете Карнеги-Меллона, изучая манипуляции под руководством Мэтта Мейсона, а затем основал Институт робототехники в Гонконгском университете науки и технологий. Являясь членом IEEE и бывшим главным редактором журнала IEEE Transactions on Automation Science and Engineering, он посвятил этой области около четырех десятилетий. Его цель — решить проблему отсутствия «нечувствительности» в манипуляциях роботов, которая практически основана на доминирующей модели «Видение-Язык-Действие» (VLA). Он и его команда разработали архитектуру «Видение-Тактиль-Язык-Действие» (VTLA), подняв тактильные ощущения до уровня, сопоставимого со зрением.

Мы поговорили с профессором Ваном о том, как тактильная обратная связь призвана изменить ловкость рук, как инициатива по созданию наборов данных, как предполагается, улучшит наше понимание роботизированных рук в естественной среде, и где — от отелей до магазинов шаговой доступности в Китае — он видит первые реальные примеры применения роботов с сенсорным управлением в реальном мире.

Daimon-Infinity — это крупнейший в мире омнимодальный набор данных для физического ИИ, включающий многомодальные данные, полученные за миллионы часов работы, сверхвысококачественную тактильную обратную связь, данные из более чем 80 реальных сценариев и более 2000 человеческих навыков, и многое другое. DAIMON Robotics

Инициатива по созданию наборов данных

В этом месяце компания DAIMON Robotics выпустила крупнейший и наиболее полный набор данных по роботизированному манипулированию, собранный совместно с ведущими академическими учреждениями и предприятиями. Почему набор данных был опубликован именно сейчас, а не сейчас, когда мы продолжаем фокусироваться на разработке продукта? Какое влияние это окажет на индустрию воплощенного интеллекта?

Компания DAIMON Robotics существует уже почти два с половиной года. Мы занимаемся разработкой высокоточных мультимодальных тактильных сенсорных устройств для восприятия взаимодействия между рукой робота (в частности, кончиками пальцев) и объектами. Наши устройства стали достаточно надежными. Сейчас они востребованы и используются широким кругом пользователей, включая академические и исследовательские институты, а также ведущие компании, занимающиеся человекоподобной робототехникой.

По мере развития воплощенного ИИ становится все более очевидной критическая роль данных. Дефицит данных остается основным препятствием на пути обучения роботов, особенно отсутствие данных о физическом взаимодействии, которые необходимы для эффективной работы роботов в реальном мире. Следовательно, качество, надежность и стоимость данных стали важными проблемами как в исследованиях, так и в коммерческой разработке.

Именно здесь DAIMON проявляет себя наилучшим образом. Наша тактильная технология на основе машинного зрения позволяет получать высококачественные мультимодальные тактильные данные. Помимо основных контактных сил, она регистрирует деформацию, скольжение и трение, свойства материалов и текстуру поверхности, что обеспечивает всестороннюю реконструкцию физических взаимодействий. Опираясь на наш опыт в области мультимодального слияния данных, мы разработали надежный конвейер обработки данных, который плавно интегрирует тактильную обратную связь с визуальными данными, траекториями движения и естественным языком, преобразуя исходные данные в готовый к обучению набор данных для моделей машинного обучения.

Признавая существующий в отрасли дефицит данных, мы рассматриваем крупномасштабный сбор данных не только как наше уникальное конкурентное преимущество, но и как обязанность перед обществом в целом.

Создавая и публикуя этот набор данных в открытом доступе, мы стремимся обеспечить высококачественное «топливо», необходимое для развития воплощенного искусственного интеллекта, что в конечном итоге ускорит внедрение в реальный мир универсальных моделей роботизированных платформ.

Робототехническая отрасль отличается высокой конкуренцией, и многие команды решили сосредоточиться на данных. Компания DAIMON выпускает большой и всеобъемлющий набор данных по тактильной мультимодальной роботизированной манипуляции на основе визуального восприятия, охватывающий различные аспекты воплощения робота. Как вам удалось этого добиться?

У нас есть собственная команда специалистов, занимающаяся расширением наших возможностей, включая разработку аппаратных устройств и создание собственной крупномасштабной модели. Несмотря на то, что мы относительно небольшая компания, наша основная технология тактильного восприятия и инновационная парадигма сбора данных позволяют нам создавать масштабные наборы данных.

Наш подход заключается в расширении спектра предлагаемых услуг. Мы создали крупнейшую в мире распределенную сеть сбора данных вне лабораторных условий. Вместо того чтобы полагаться на централизованные центры обработки данных, эта легкая и масштабируемая система позволяет собирать данные в самых разных реальных условиях, что дает нам возможность генерировать миллионы часов данных в год.

«Для стимулирования развития всей области воплощенного искусственного интеллекта мы предоставили в открытый доступ 10 000 часов данных для широкого сообщества». — Профессор Майкл Ю Ван, DAIMON Robotics

Этот набор данных разрабатывается совместно с несколькими учреждениями по всему миру. Какую роль они сыграли в его создании, и какую пользу этот набор данных принесет их исследованиям и продуктам?

Помимо команд из Китая, в число наших партнеров входят ведущие исследовательские группы из университетов, таких как Северо-Западный университет и Национальный университет Сингапура, а также ведущие мировые предприятия, такие как Google DeepMind и China Mobile. Их решение сотрудничать с DAIMON является убедительным подтверждением ценности нашего богатого тактильными данными набора данных.

Среди участвующих компаний есть такие, которые уже разработали собственные модели, но теперь включают в них тактильную информацию. Размещая наши устройства для сбора данных в исследовательских, производственных и других реальных условиях, они помогают нам собирать весьма практичные данные, ориентированные на конкретные приложения. В свою очередь, наши партнеры используют эти данные для обучения моделей, адаптированных к их конкретным задачам. Кроме того, для стимулирования развития всей области воплощенного ИИ мы открыли исходный код 10 000 часов данных для широкого сообщества.

Оснащенный визуально-тактильным датчиком Daimon, захватное устройство деликатно реагирует на контакт и точно контролирует усилие для подъема хрупкой яичной скорлупы. Daimon Robotics

От VLA к VTLA: почему тактильное восприятие меняет правила игры.

В настоящее время в робототехнике преобладает модель «Видение-Язык-Действие» (VLA), но ваша команда предложила модель «Видение-Тактиль-Язык-Действие» (VTLA). Зачем необходимо включать тактильное восприятие? Что это позволяет роботам достигать, и какие задачи, скорее всего, будут решены без тактильной обратной связи?

За годы работы над созданием универсальных роботов, способных выполнять задачи манипулирования, особенно ловкого манипулирования — не просто захватывать или удерживать объект, а манипулировать им и использовать инструменты для передачи силы и движения деталям, — мы видим, что эти роботы используются как в быту, так и в промышленных сборочных цехах.

Хорошо известно, что тактильная информация необходима для обратной связи о состоянии контакта, чтобы роботы могли направлять свои руки и пальцы для выполнения надежных манипуляций. Без тактильного восприятия возможности роботов сильно ограничены. Им трудно находить объекты в темных условиях, а без обнаружения скольжения они могут легко уронить хрупкие предметы, такие как стекло. Кроме того, неспособность точно контролировать силу часто приводит к сбоям в задачах манипуляции или, в тяжелых случаях, к физическим повреждениям. Естественно, подход VLA необходимо усовершенствовать, чтобы включить тактильную информацию. Мы расширили структуру VLA, включив в нее тактильные данные, создав модель VTLA.

Дополнительное преимущество нашего тактильного датчика заключается в том, что он основан на визуальном восприятии: мы получаем визуальные изображения деформации на поверхности кончика пальца. Мы получаем несколько изображений в последовательности, кодирующей информацию о контакте, на основе которой мы можем определить силы и другие состояния контакта. Это хорошо согласуется с визуальной структурой, на которой основана VLA. Наличие тактильной информации в формате визуального изображения делает ее естественной для интеграции в структуру VLA, преобразуя ее в систему VTLA. В этом и заключается ключевое преимущество: тактильные датчики на основе визуального восприятия обеспечивают очень высокое разрешение на уровне пикселей, и эти данные могут быть включены в структуру, будь то сквозная модель или другой тип архитектуры.

Компания DAIMON известна своими тактильными датчиками на основе машинного зрения, способными вмещать более 110 000 эффективных сенсорных элементов. DAIMON Robotics

Технология: Тактильное восприятие на основе монохроматического зрения

Вы и ваша команда много лет посвятили разработке тактильных сенсорных систем на основе машинного зрения и создали первую в мире монохромную тактильную сенсорную технологию. Почему вы выбрали именно это техническое направление?

Начав исследовать тактильные датчики, мы поняли свои потребности. Нам нужны были датчики, которые бы максимально точно имитировали то, что находится под кожей кончиков пальцев. Физиологические исследования хорошо задокументировали возможности, которыми обладают люди, — они знают, к чему прикасаются, из какого материала это сделано, как распределяются силы и движется ли предмет в нужном положении, когда мозг управляет его руками. Мы понимали, что воспроизведение этих возможностей на кончиках пальцев роботизированной руки значительно поможет.

При изучении существующих технологий мы обнаружили множество типов, включая тактильные датчики на основе машинного зрения с трехцветной оптикой и другие более простые конструкции. Мы решили интегрировать лучшие из них в надежное инженерное решение, которое хорошо работает, не будучи чрезмерно сложным, сохраняя при этом стоимость, надежность и чувствительность в удовлетворительном диапазоне, таким образом, в конечном итоге разработав монохроматическую тактильную сенсорную технологию на основе машинного зрения. Это, по сути, инженерный подход, а не чисто научный, поскольку уже существует большой объем фундаментальных исследований. С ростом осознания необходимости тактильных данных все это будет развиваться параллельно.

Тактильный датчик DAIMON на основе машинного зрения собирает высококачественные многомодальные тактильные данные. DAIMON Robotics

В прошлом году компания DAIMON выпустила многомерный, высокоразрешающий, высокочастотный тактильный датчик на основе машинного зрения. В чем заключается его основное преимущество по сравнению с традиционными тактильными датчиками? В каких отраслях он потенциально может изменить ситуацию?

Ключевые особенности наших датчиков — это плотность распределенного измерения силы и деформация, которую мы можем зафиксировать на поверхности кончика пальца. Я считаю, что у нас самая высокая плотность по количеству сенсорных элементов. Это очень важный показатель. Другой важный аспект — динамика: частота и полоса пропускания — насколько быстро мы можем обнаруживать изменения силы, передавать сигналы и обрабатывать их в реальном времени. Другие важные аспекты в значительной степени связаны с инженерными решениями, такими как надежность, дрейф, долговечность мягкой поверхности и устойчивость к помехам от магнитных, оптических или экологических факторов.

Все больше исследователей и компаний осознают важность тактильного восприятия и внедряют наши технологии. Я считаю, что достижения в области тактильного восприятия поднимут все сообщество и отрасль на более высокий уровень. Один из наших потенциальных клиентов внедряет человекоподобных роботов в небольшом магазине с плотно заставленными полками, где место на полках ограничено. Роботу необходимо проникать в очень узкие места — узкие, как книги на полке, — чтобы достать предмет. Существующие двухчелюстные параллельные захваты не могут поместиться в большинстве таких мест. Наблюдая за тем, как люди берут предметы, становится ясно, что для этого необходимо как минимум три тонких пальца, чтобы коснуться предмета, перекатить его к себе и закрепить. Таким образом, мы начинаем видеть очень специфические потребности, где возможности тактильного восприятия имеют решающее значение.

От академической среды к стартапу

После 40 лет работы в академической среде — основания Института робототехники Гонконгского университета науки и технологий, получения престижных наград, включая звание члена IEEE, и работы главным редактором IEEE TASE — что побудило вас основать DAIMON Robotics?

Я проделал долгий путь. Я начал изучать робототехнику во время своей аспирантуры в Университете Карнеги-Меллона, где под руководством Марка Райберта, основателя Boston Dynamics, работали действительно замечательные группы, занимавшиеся изучением передвижения, а под руководством моего научного руководителя, Мэтта Мейсона, лидера в этой области, — манипуляцией. Мы много лет работаем над ловкими манипуляциями не только в Университете Карнеги-Меллона, но и по всему миру.

Однако прогресс долгое время был ограничен, особенно в создании ловких рук и обеспечении их работоспособности. Роботы для передвижения действительно получили широкое распространение лишь недавно, и только в последние несколько лет мы начали наблюдать значительные достижения в разработке роботизированных рук. Очевидно, что есть потенциал для развития возможностей манипулирования, что позволило бы роботам выполнять работу, подобную человеческой. Во время работы в Гонконгском университете науки и технологий я наблюдал, как все больше людей, как студентов, так и докторантов, приходят в эту область. Мы хотели дать толчок нашим усилиям, используя имеющиеся капитальные и кадровые ресурсы.

К счастью, один из моих постдокторантов, доктор Дуань Цзянхуа, обладает отличным чутьём к коммерческим возможностям. Понимая стремительный рост рынка робототехники и уникальную ценность нашей технологии тактильного восприятия на основе машинного зрения, мы вместе основали компанию DAIMON Robotics, и она добилась значительных успехов. Сообщество значительно выросло в Китае, Японии, Корее, США и Европе.

Роботы, оснащенные технологией DAIMON, были внедрены на заводах. Компания стремится дать роботам возможность достичь «воплощенного интеллекта» и сократить разрыв между тем, что они видят, и тем, что они чувствуют. DAIMON Robotics

Бизнес-модель и коммерческая стратегия

Какова текущая бизнес-модель и стратегическая направленность DAIMON? Какую роль играет выпуск набора данных в вашей коммерческой стратегии?

Мы начинали как компания, специализирующаяся на производстве высокоэффективных тактильных датчиков, особенно для роботизированных рук. Но по мере развития технологий и бизнеса все поняли, что дело не только в одном компоненте, а во всей технологической цепочке: устройствах, данных достаточного качества и количества, и, наконец, в правильной платформе для создания, обучения и развертывания моделей на роботах в реальных условиях эксплуатации.

Наша бизнес-стратегия лучше всего описывается как «3D»: устройства, данные и развертывание. Мы создаем устройства для сбора данных, собственную экосистему и для их развертывания в потенциальных областях применения наших партнеров. Это позволяет собирать реальные, насыщенные тактильными ощущениями данные и проводить полную проверку с обратной связью. Это станет неотъемлемой частью бизнес-модели «3D». Большинство стартапов в этой области следуют аналогичному пути, пока в конечном итоге некоторые из них не станут более специализированными или более тесно интегрированными с другими компаниями. На данный момент это в основном вертикальная интеграция.

Воплощенные навыки и момент конвергенции

Вы ввели концепцию «воплощенных навыков» как важнейшего элемента для того, чтобы человекоподобные роботы вышли за рамки простого наличия продвинутого «мозга» искусственного интеллекта. Что послужило толчком к этому выводу? Какие новые возможности могут обеспечить воплощенные навыки? После стремительной эволюции моделей и оборудования за последние два года, изменилось ли ваше определение или дорожная карта воплощенных навыков?

Мы прошли долгий путь и сейчас видим точку сближения, где технологии электроники, электроники и мехатроники за последние два десятилетия значительно продвинулись. Роботы теперь полностью электрические, им не нужна гидравлика, потому что аппаратное обеспечение быстро развивается. Современная электроника обеспечивает огромную пропускную способность и высокие крутящие моменты. Если мы сможем встроить интеллект в эти системы, мы сможем создать по-настоящему человекоподобных роботов, способных работать в неструктурированной среде, принимать решения и совершать действия автономно.

«Наша цель — чтобы роботы достигли высоких возможностей манипулирования и превратились в надежных партнеров для людей». — Профессор Майкл Ю Ван, DAIMON Robotics

Искусственный интеллект появился в самый подходящий момент. В разработку ИИ были вложены огромные ресурсы, особенно в большие языковые модели, которые сейчас обобщаются в модели окружающего мира, позволяющие реализовать возможности физического ИИ. Мы хотели бы увидеть их воплощение в реальных системах.

Хотя технологии искусственного интеллекта и базовые аппаратные технологии продолжают развиваться, сейчас приоритеты стали гораздо яснее. Например, в домашних условиях предпочтение отдается роботам человеческого роста. Это захватывающая область, которая обещает принести огромную пользу обществу, если в конечном итоге нам удастся создать безопасных, надежных и экономически эффективных роботов.

Путь к внедрению в реальных условиях

Сегодня многие роботы способны демонстрировать впечатляющие результаты, однако до их реального применения в реальных условиях остается определенный разрыв. Что может стать потенциальным толчком для внедрения в реальную жизнь? Какие сценарии с наибольшей вероятностью приведут к масштабному внедрению в первую очередь?

Я думаю, что путь к широкомасштабному внедрению универсальных роботов еще долог, но мы начинаем видеть признаки осуществимости в конкретных областях. Это очень похоже на автономные транспортные средства, где мы еще не видели полного внедрения роботакси, в то время как мобильные роботы и более мелкие транспортные средства уже начали широко использоваться в индустрии гостеприимства. Практически в каждом крупном отеле Китая сейчас есть робот-доставщик — без манипуляторов, просто транспортное средство, которое забирает товары из холла отеля (например, доставку еды). Курьер просто загружает еду и выбирает номер комнаты. После этого роботу остается только проложить маршрут и добраться до номера гостя, включая использование лифта, чтобы доставить еду. В крупных китайских отелях это уже почти на 100 процентов внедрено.

Роботы для гостиниц и ресторанов рассматриваются как модель для внедрения человекоподобных роботов в определенных областях, таких как круглосуточные аптеки и магазины шаговой доступности. Я ожидаю полного внедрения в таких условиях в короткие сроки, за которым последует расширение применения в других сферах. В целом, можно ожидать, что автономные роботы, включая человекоподобных, будут постепенно проникать в определенные сектора, принося пользу в каждом из них и расширяясь в другие.

В конечном итоге, наша цель — чтобы роботы достигли высоких возможностей манипулирования и превратились в надежных партнеров для людей. Бесшовно интегрировавшись в наши дома и повседневную жизнь, они действительно принесут пользу и послужат человечеству.

Данное интервью отредактировано для сокращения и большей ясности.