Станут ли мозговые волны следующим шагом в развитии физического искусственного интеллекта?

Передовые разработки в области физического искусственного интеллекта – это игра в «Дженгу» на складе в Сан-Леандро, штат Калифорния.

Этот склад занимает компания Encord, которая разрабатывает инструменты для обработки данных, используемые для обучения моделей искусственного интеллекта. Эндрю Сеха — пилот (так в компании называют своих роботов-тренажёров), и он аккуратно вытаскивает деревянные блоки из шатающейся башни, надев гарнитуру с камерой, которая отслеживает то, что он видит. Само по себе это довольно распространенная практика сбора данных для обучения роботов, но эта гарнитура включает в себя датчики, которые измеряют его мозговые волны, пока он аккуратно разбирает башню из блоков.

Encord — один из немногих, но растущего числа стартапов, которые делают ставку на то, что следующим реальным ограничением для человекоподобных и складских роботов станет не архитектура модели, а острая нехватка реальных данных для физической тренировки. Вместо того чтобы просто помогать робототехническим компаниям управлять имеющимися у них данными, Encord строит бизнес на производстве тех данных, которых у них нет.

Гарнитура для измерения мозговой активности, которую носит Сеха, была разработана немецким нейробиологическим стартапом Zander Labs, который делает ставку на то, что измерение мозговой активности — для определения таких психических состояний, как ошибка, намерение и удивление — может создать более полезный набор данных для обучения моделей. Работа Encord с Zander в настоящее время находится на стадии пробного запуска; Encord заявляет, что цель состоит в том, чтобы создать первоначальный набор данных с метками мозговой активности, протестировать его на моделях робототехники заказчика и оценить, действительно ли это улучшает производительность, прежде чем принимать решение о масштабировании.

Лукас Герке, нейробиолог из Института Зандера, курирующий эту работу, говорит, что объем мозговой активности, используемой в любой момент во время выполнения данной задачи, дает подсказки разработчикам моделей, пытающимся понять, когда им нужно задействовать свои наиболее трудоемкие модели.

По словам Винита Велмуругана, руководителя отдела обучения роботов в Encord, это «передовой» этап в решении проблемы нехватки данных в робототехнике. Велмуруган, ветеран лаборатории робототехники OpenAI и компании Berkshire Grey, занимающейся автоматизацией складских помещений, присоединился к Encord, чтобы создать внутреннюю команду по созданию данных.

Компания Encord была основана для того, чтобы помочь компаниям, разрабатывающим приложения машинного зрения, аннотировать данные и оценивать модели. По мере того, как их клиенты — Велмуруган говорит, что они работают со многими ведущими робототехническими фирмами, но он не уполномочен их называть — начали применять сквозное обучение к задачам роботизированного манипулирования, руководители поняли, что им придется самим создавать обучающие данные, а не просто управлять ими. «Данные просто не существуют», — сказал Велмуруган.

Ставка на то, что генеративный ИИ сможет сделать для роботов то же, что он сделал для чат-ботов, постоянно сталкивается с одной и той же проблемой. Магистерские программы были построены на основе текста всего интернета и даже больше. Найти те же самые исходные материалы для обучения нейронных сетей физическим манипуляциям — непростая задача: компании, занимающиеся разработкой беспилотных автомобилей, собирают их сами, но масштабировать этот процесс сложно. Обучение на основе видео может работать, но ему не хватает точности реальных данных. Велмуруган говорит, что для прорыва потребуется набор данных, примерно в пять раз превышающий размер видеокорпуса YouTube — масштаб, который помогает объяснить, почему генерация данных сама по себе стала бизнесом, а не просто исследовательской задачей.

Удовлетворите свои эгоцентричные потребности в данных.

Компании, занимающиеся разработкой «мозгов» для роботов, сейчас обращаются к двум основным источникам: «эгоцентрическому» видео, собираемому рабочими с камерами, часто дополненному дополнительными ракурсами и другими показателями, и сбору данных от роботов, управляемых дистанционно. Компания Encord использует оба подхода, получая эгоцентрические данные с нескольких заводов по всему миру и используя свой завод в Сан-Леандро для экспериментов с новыми методами, такими как мозговые волны, или для сбора наборов данных о конкретных навыках для их тонкой настройки.

Когда корреспонденты TechCrunch посетили компанию, пилоты использовали роботизированные системы типа «лидер-последователь» — парные роботизированные манипуляторы, один из которых управляется непосредственно человеком, а другой имитирует его движения, — для сбора данных о таких задачах, как переливание кофе из кофейника в кружки (очень сильное плескание) и складывание фишек для покера. «Каждая компания, занимающаяся человекоподобными роботами, просила нас предоставить эти устройства», — говорит Велмуруган.

На стеллажах хранились коробки с искусственными цветами в вазах, книги, пластиковые овощи, лотки и совки для кошачьего туалета, мешки и пучки проволоки — весь тот товар, который использовался для обучения манипулятора выполнению домашних дел.

На одной из этих станций другой пилот, София Инфанте, управляет роботизированными манипуляторами, подключая и отключая кабели Ethernet от задней панели сервера — это та работа, которую операторы центров обработки данных хотели бы автоматизировать, если бы роботы могли манипулировать ими с необходимой точностью. Попробовав себя в роли оператора, я понял, почему это до сих пор недостижимо: щипцы гораздо менее ловкие, чем человеческие пальцы, и им не хватает тех степеней свободы, которые мы считаем само собой разумеющимися в наших руках.

Еще один новый метод сбора данных, разрабатываемый компанией Encord, использует набор датчиков, закрепленных на предплечье, для обнаружения электрических сигналов в мышцах. Видеозаписи движений рук человека, манипулирующих объектами, обычно не охватывают всю руку целиком, но Велмуруган надеется создать трехмерное изображение положения руки в любой момент времени на основе данных с датчиков на руке, что позволит получить более точное представление о положении руки при моделировании.

Наборы данных Encord аннотированы физическими описаниями того, что содержится в каждом видео — «правая рука затягивает болт» — чтобы помочь моделям на основе LLM понять, что происходит. Велмуруган подсчитал, что такая плотная аннотация в 100 раз ценнее «некачественных эго-данных» для обучения конкретным задачам, и при этом ее производство обходится всего в 20 раз дороже, что, по идее, является выгодным компромиссом.

Но «в 20 раз больше» — это всё ещё реальные деньги, и в этом-то и загвоздка: сбор текста из интернета, как это делали разработчики LLM-моделей, используя данные со Stack Overflow и других ресурсов сети, обходится передовым лабораториям практически бесплатно. Создание данных для физического обучения ничего не стоит, и в этом заключается ограничение сравнения физического ИИ с LLM-моделями. Такие данные нужно не просто собирать, а создавать искусственно, и это меняет экономику построения этих моделей.

Велмуруган говорит, что прогресс есть — благодаря тому, что Encord имеет доступ к информации о программах в масштабах всей отрасли, он может наблюдать, как стартапы и передовые лаборатории выясняют, что работает, а что нет для улучшения физических моделей ИИ. Эта позиция — нахождение между множеством робототехнических компаний одновременно — также является частью предложения Encord. Компания может выявлять, какие методы обработки данных набирают популярность в масштабах всей отрасли, еще до того, как это сможет сделать какой-либо отдельный клиент.

Это обеспечит работой около дюжины пилотов на предприятии Encord. И Инфанте, и Сеха входят в растущую группу специалистов, разрабатывающих компоненты для нейронных сетей; до прихода в Encord они работали в компании Scale, еще одной фирме, занимающейся аннотированием данных для ИИ.

Сеха работал в компании по утилизации отходов, где его интерес к технологиям привел его к тому, что он отвечал за поддержание в рабочем состоянии роботизированного мусоросортировочного аппарата. Теперь, когда башня из блоков «Дженга» рушится, он говорит, что ему нравится решать задачи по обучению роботов — «Каждый день что-то новое!»

Источник: techcrunch.com