С помощью движений рук и пальцев пользователи могут управлять роботом, заставляя его играть на пианино или бросать баскетбольный мяч, а также манипулировать объектами в виртуальной среде. 
↓ Скачать подпись к изображению : Инженеры Массачусетского технологического института разработали ультразвуковой браслет, который точно отслеживает движения руки пользователя в режиме реального времени. Браслет создает ультразвуковые изображения мышц, сухожилий и связок запястья по мере движения руки. Автор изображения : Мелани Гоник 
Аспирантка Диан Ли работает с роботизированной рукой. Фото: Мелани Гоник. 
Инженеры Массачусетского технологического института разработали ультразвуковой браслет, который точно отслеживает движения руки пользователя в режиме реального времени. Браслет создает ультразвуковые изображения мышц, сухожилий и связок запястья по мере движения руки. Фото: Мелани Гоник
В следующий раз, когда будете листать ленту в телефоне, остановитесь на мгновение и оцените это достижение: это, казалось бы, обыденное действие возможно благодаря координации 34 мышц, 27 суставов и более 100 сухожилий и связок в вашей руке. Действительно, наши руки — самые ловкие части нашего тела. Имитация их многочисленных тонких движений долгое время оставалась сложной задачей в робототехнике и виртуальной реальности.
Теперь инженеры Массачусетского технологического института разработали ультразвуковой браслет, который точно отслеживает движения руки пользователя в режиме реального времени. Браслет создает ультразвуковые изображения мышц, сухожилий и связок запястья по мере движения руки и сопряжен с алгоритмом искусственного интеллекта, который непрерывно преобразует изображения в соответствующие положения пяти пальцев и ладони.
Исследователи могут обучить браслет запоминать движения рук пользователя, которые устройство может передавать в режиме реального времени роботу или виртуальной среде.
В ходе демонстраций команда показала, что человек, носящий браслет, может беспроводным способом управлять роботизированной рукой. Когда человек делает жесты или указывает, робот делает то же самое. В своего рода беспроводном взаимодействии с марионеткой пользователь может заставить робота сыграть простую мелодию на пианино и забросить небольшой баскетбольный мяч в настольное кольцо. С помощью того же браслета пользователь также может манипулировать объектами на экране компьютера, например, сжимая пальцы, чтобы увеличить или уменьшить виртуальный объект.
Воспроизвести видео
Команда использует браслет для сбора данных о движениях рук от множества пользователей с разными размерами рук, формами пальцев и жестами. Они планируют создать большой набор данных о движениях рук, который можно будет использовать, например, для обучения человекоподобных роботов выполнению задач, требующих ловкости, таких как определенные хирургические процедуры. Ультразвуковой браслет также можно будет использовать для захвата, манипулирования и взаимодействия с объектами в видеоиграх, приложениях для дизайна или других виртуальных средах.
«Мы считаем, что эта работа окажет непосредственное влияние на потенциальную замену методов отслеживания движений рук носимыми ультразвуковыми браслетами в виртуальной и дополненной реальности», — говорит Сюаньхэ Чжао, профессор кафедры машиностроения имени Ункаса и Хелен Уитакер в Массачусетском технологическом институте. «Она также может предоставить огромные объемы обучающих данных для ловких человекоподобных роботов».
Чжао, Гэнси Лу и их коллеги представляют новый дизайн браслета в статье, опубликованной сегодня в журнале Nature Electronics. В число их соавторов из Массачусетского технологического института входят бывшие постдокторанты Сяоюй Чен, Шуконг Ли и Болей Дэн; аспиранты Сонгхён Ким и Диан Ли; постдокторанты Шу Ван и Рунзе Ли; а также Ананта Чандракасан, проректор Массачусетского технологического института и профессор кафедры электротехники и компьютерных наук им. Ванневара Буша. Другие соавторы — аспиранты Юшунь Чжэн и Цзюньхан Чжан, Баоцян Лю, Чен Гун и профессор Цифа Чжоу из Университета Южной Калифорнии.
Видение струн
В настоящее время существует ряд подходов к захвату и имитации ловкости человеческих рук в робототехнике. Некоторые подходы используют камеры для записи движений рук человека при манипулировании объектами или выполнении задач. Другие предполагают использование человеком перчатки с датчиками, которая записывает движения рук и передает данные принимающему роботу. Однако создание сложной системы камер для различных применений непрактично и подвержено визуальным препятствиям. Кроме того, перчатки с датчиками могут ограничивать естественные движения и ощущения рук человека.
Третий подход использует электрические сигналы от мышц запястья или предплечья, которые ученые затем сопоставляют с конкретными движениями кисти. Исследователи добились значительных успехов в этом подходе, однако эти сигналы легко подвержены влиянию шума в окружающей среде. Кроме того, они недостаточно чувствительны, чтобы различать тонкие изменения в движениях. Например, они могут определить, сжаты ли большой и указательный пальцы или разведены, но не большую часть промежуточного пути.
Команда Чжао задалась вопросом, может ли ультразвуковая диагностика зафиксировать более ловкие и непрерывные движения рук. Его группа разрабатывает различные виды ультразвуковых наклеек — миниатюрные версии преобразователей, используемых в кабинетах врачей, которые соединены с гидрогелевым материалом, способным безопасно прикрепляться к коже.
В своем новом исследовании команда разработчиков интегрировала конструкцию ультразвуковой наклейки в носимый браслет для непрерывного получения изображений мышц и сухожилий запястья.
«Сухожилия и мышцы запястья подобны нитям, натягивающим марионетки, которыми являются ваши пальцы», — говорит Лу. «Поэтому идея такова: каждый раз, когда вы фотографируете состояние нитей, вы будете знать состояние руки».
Манипулирование картами
Команда разработала браслет с ультразвуковой наклейкой размером с умные часы и добавила в него электронику размером примерно с мобильный телефон. Они прикрепили браслет к запястью добровольца и подтвердили, что устройство выдает четкие и непрерывные изображения запястья, когда доброволец двигает пальцами в различных движениях.
Задача заключалась в том, чтобы сопоставить черно-белые ультразвуковые изображения запястья с конкретными положениями кисти. Как оказалось, пальцы и большой палец обладают 22 степенями свободы, или различными способами разгибания или изменения угла наклона. Исследователи обнаружили, что могут идентифицировать определенные области на ультразвуковых изображениях запястья, которые соответствуют каждой из этих 22 степеней свободы. Например, изменения в одной области связаны с разгибанием большого пальца, а изменения в другой области — с движениями указательного пальца.
Для установления этих связей доброволец, носивший браслет, двигал рукой в различных положениях, в то время как исследователи записывали эти движения с помощью нескольких камер, окружающих добровольца. Сопоставляя изменения в определенных областях ультразвуковых изображений с положениями руки, зафиксированными камерами, команда могла пометить области изображения запястья соответствующими степенями свободы руки. Но непрерывное и в режиме реального времени такое перемещение было бы невыполнимой задачей для человека.
Поэтому команда обратилась к искусственному интеллекту. Они использовали алгоритм ИИ, который можно обучить распознавать паттерны на изображениях и сопоставлять их с определенными метками и, в данном случае, с различными степенями свободы руки. Исследователи обучили алгоритм на ультразвуковых изображениях, которые они тщательно разметили, аннотируя области изображения, связанные с определенной степенью свободы. Они протестировали алгоритм на новом наборе ультразвуковых изображений и обнаружили, что он правильно предсказывает соответствующие жесты руки.
После того как исследователям удалось успешно синхронизировать алгоритм искусственного интеллекта с браслетом, они протестировали устройство на большем количестве добровольцев. Для нового исследования восемь добровольцев с разными размерами кистей и запястий носили браслет, выполняя различные жесты и захваты, включая жесты для всех 26 букв американского языка жестов. Они также держали такие предметы, как теннисный мяч, пластиковая бутылка, ножницы и карандаш. В каждом случае браслет точно отслеживал и предсказывал положение руки.
Чтобы продемонстрировать потенциальные возможности применения, команда разработала простую компьютерную программу, которую они беспроводным способом сопрягли с браслетом. Когда пользователь выполнял движения сжатия и захвата, жесты соответствовали увеличению и уменьшению масштаба объекта на экране компьютера, а также виртуальному перемещению и манипулированию им плавным и непрерывным образом.
Исследователи также протестировали браслет в качестве беспроводного контроллера для простой коммерческой роботизированной руки. Доброволец, надев браслет, имитировал игру на клавиатуре. Робот, в свою очередь, в режиме реального времени воспроизводил эти движения, играя простую мелодию на пианино. Тот же робот смог имитировать нажатия пальцев человека, играя в баскетбольную игру на компьютере.
Чжао планирует еще больше миниатюризировать аппаратную часть браслета, а также обучить программное обеспечение ИИ на множестве жестов и движений добровольцев с более широким диапазоном размеров и форм рук. В конечном итоге команда работает над созданием носимого трекера для рук, который сможет носить любой человек, чтобы беспроводным способом управлять человекоподобными роботами или виртуальными объектами с высокой точностью.
«Мы считаем, что это самый передовой способ отслеживания ловких движений рук с помощью носимых устройств для визуализации запястья», — говорит Чжао. «Мы думаем, что эти носимые ультразвуковые браслеты могут обеспечить интуитивно понятное и универсальное управление для виртуальной реальности и роботизированных рук».
Данное исследование было частично поддержано Массачусетским технологическим институтом (MIT), Национальными институтами здравоохранения США, Национальным научным фондом США, Министерством обороны США и Национальным исследовательским фондом Сингапура в рамках Сингапурско-Массачусетского технологического альянса в области исследований и технологий.
Источник: news.mit.edu
