Вижу, следовательно, осязаю Робототехника в буквальном смысле упёрлась в кончики…

Вижу, следовательно, осязаю

Робототехника в буквальном смысле упёрлась в кончики пальцев. Камера показывает положение предмета, но не всегда замечает, что он проскальзывает в захвате, упёрся в край отверстия или прижат с перекосом.

Здесь помогают тактильные датчики. Но они хрупкие, требуют отдельной установки и калибровки, а показания разных систем сложно свести к общему формату. Американские исследователи нашли способ частично обойти проблему: научить камеру предсказывать, что должны чувствовать пальцы. 

Система FELT получает один RGB-кадр с камеры на запястье. Предобученный визуальный энкодер DINOv2 извлекает визуальные признаки, а отдельный декодер превращает их в две карты давления размером 12 × 32 ячейки, по одной на каждый палец захвата.

Генератор предварительно обучили на 2,6 млн пар «кадр — показания датчиков» из более чем 2700 демонстраций. После этого новые демонстрации можно собирать уже без тактильного оборудования. FELT либо дорисовывает к старым визуальным данным карты давления, либо сразу передаёт управляющей модели скрытое представление контакта. Во время работы робота тоже достаточно камеры. Генерация занимает около 20 мс на RTX 4090.

На четырёх задачах добавленное таким образом «осязание» улучшило финальную успешность относительно одной камеры:

▪️ вставка трубки: 50% против 40%;
▪️ сбор четырёх чашек в стопку: 35-45% против 25%;
▪️ стирание надписи: 75-85% против 65%;
▪️ вставка треугольного штифта: 70-90% против 50%.

Самый странный результат получился со штифтом. Скрытые признаки FELT дали 90% успешных вставок, тогда как настоящий датчик давления дал 70%. Авторы предполагают, что при 60 обучающих демонстрациях модели оказалось проще тыкать пальцем в небо, чем использовать шумные физические измерения.

#робототехника