Рождённый действовать Современные системы управления роботами часто строят на основе…

Рождённый действовать

Современные системы управления роботами часто строят на основе видеогенераторов. Но создавать ролики и управлять машиной — разные задачи: робот должен понимать последствия действий и быстро реагировать на изменения.

Очевидное решение: обучить модель для физического мира с нуля. Так и сделали исследователи подразделения Robbyant внутри китайской Ant Group, известной прежде всего платёжной системой Alipay. Их новая модель LingBot-VA 2.0 одновременно предсказывает, как изменится сцена после действия, и какие команды нужно передать роботу.

Первое отличие появляется ещё на этапе обработки изображения. Обычные видеомодели сжимают кадры так, чтобы потом можно было восстановить пиксели. LingBot сохраняет не только внешний вид сцены, но и информацию, связанную с действиями: где находится нужный предмет, что с ним происходит и какое движение должно изменить его состояние.

Дальше — строгая последовательность во времени. Многие видеогенераторы могут анализировать кадры сразу в обоих направлениях. Для робота такой фокус бесполезен: он не знает будущего и должен принимать решения только по уже увиденному. Поэтому LingBot изначально обучали предсказывать события в одном направлении — от текущего наблюдения к следующему состоянию.

Восприятие и движение выполняются параллельно. Модель рассчитывает не одну команду, а короткую последовательность действий, пока робот исполняет предыдущую. Время подготовки такого блока удалось сократить с 927 до 142 мс — примерно в 6,5 раза. Получив новый кадр с камеры, система сверяет прогноз с реальностью и корректирует дальнейшее движение.

В итоге производительность во всех смыслах радует глаз.