XR Blocks — это фреймворк с открытым исходным кодом, который поможет вам разрабатывать захватывающие веб-приложения, включающие в себя реалистичные XR-решения, XR-взаимодействие и приложения AI + XR с демонстрационными версиями на xrblocks.github.io.
Быстрые ссылки
- GitHub
- Бумага
- Видео
- Делиться
Сочетание искусственного интеллекта (ИИ) и расширенной реальности (XR) потенциально может открыть новую парадигму иммерсивных интеллектуальных вычислений. Однако сегодня между экосистемами этих двух областей существует значительный разрыв. Исследования и разработки в области ИИ ускоряются благодаря зрелым фреймворкам, таким как JAX, PyTorch, TensorFlow, и бенчмаркам, таким как ImageNet и LMArena. Между тем, прототипирование новых взаимодействий в XR, управляемых ИИ, остается сложным процессом, часто требующим от специалистов ручной интеграции разрозненных низкоуровневых систем для восприятия, рендеринга и взаимодействия.
Чтобы преодолеть этот разрыв, мы представляем XR Blocks (представленный на ACM UIST 2025), кроссплатформенный фреймворк, разработанный для ускорения инноваций в области человекоцентрированного ИИ + XR. Это значительный шаг вперед по сравнению с нашими предыдущими исследованиями в области визуальных блоков для машинного обучения, которые ориентированы на сценарии использования, не связанные с XR, и упрощают прототипирование конвейеров машинного обучения с помощью визуального программирования. XR Blocks предоставляет модульную архитектуру с компонентами, готовыми к использованию, для основной абстракции в ИИ + XR: пользователь , мир , интерфейс , ИИ и агенты . Что особенно важно, он разработан с целью ускорения быстрого прототипирования приложений с использованием ИИ + XR. Созданный на основе доступных технологий (WebXR, threejs, LiteRT, Gemini), наш инструментарий снижает барьер для входа для создателей XR-приложений. Мы демонстрируем его полезность с помощью набора шаблонов с открытым исходным кодом, живых демонстраций и исходного кода на GitHub, с целью дать сообществу возможность быстро переходить от концепции к интерактивному прототипу. С обзором этих возможностей вы можете ознакомиться в нашем информационном документе и ознакомительном видеоролике.
Посмотрите фильм
Ссылка на видео на YouTube
Вводный видеоролик о XR Blocks.
Принципы проектирования
При выборе архитектуры и API-интерфейсов мы руководствуемся тремя принципами:
- Стремитесь к простоте и читаемости: вдохновленные принципами дзен-буддизма в Python, мы отдаем приоритет чистым, понятным для человека абстракциям. Скрипт разработчика должен читаться как высокоуровневое описание желаемого результата. Простые задачи должны быть простыми в реализации, а сложная логика должна оставаться явной и понятной.
- Приоритет — удобство для создателей : наша главная цель — сделать создание интеллектуальных и интуитивно понятных XR-приложений максимально простым. Мы считаем, что создатели должны сосредоточиться на пользовательском опыте, а не на низкоуровневых «настройках», таких как объединение данных с датчиков, интеграция моделей ИИ или кроссплатформенная логика взаимодействия.
- Прагматизм важнее полноты : Мы придерживаемся прагматичной философии проектирования, поскольку области ИИ и XR быстро развиваются. Комплексная, сложная структура, стремящаяся к совершенству, устареет после выпуска. Мы отдаем предпочтение простой, модульной и адаптируемой архитектуре, работающей как на настольных компьютерах, так и на устройствах Android XR для широкого спектра приложений.
Фреймворк XR Blocks
Вдохновившись Visual Blocks for ML и InstructPipe, мы разработали фреймворк XR Blocks, который предоставляет высокоуровневый, ориентированный на человека уровень абстракции, отделяющий суть взаимодействия (обозначаемую как Script , подробнее описанную ниже) от способа его низкоуровневой реализации.
XR Blocks ускоряет прототипирование приложений ИИ + XR в реальном времени на настольных симуляторах и устройствах Android XR . Примеры: (a) Реализм XR: прототипирование взаимодействий с учетом глубины и на основе физических принципов в симуляции и развертывание того же кода на реальных устройствах XR. (b) Взаимодействия XR: бесшовная интеграция пользовательских моделей жестов в настольный симулятор и развертывание XR на устройстве. (c) Интеграция ИИ + XR: создание интеллектуальных, контекстно-зависимых помощников, таких как прототип Sensible Agent , который предоставляет проактивные предложения с ненавязчивым взаимодействием.
Абстракции
Мы предлагаем новую модель реальности, состоящую из высокоуровневых абстракций, которая будет направлять реализацию фреймворка XR Blocks. В отличие от модели мира, разработанной для сквозного обучения без учителя, наша модель реальности состоит из заменяемых модулей для взаимодействия с XR. В основе нашей разработки лежит Сценарий — повествовательный и логический центр приложения. Сценарий работает с шестью первоклассными примитивами (описанными и визуализированными ниже):
- Пользователь и физический мир: Наша модель построена вокруг пользователя , включающего руки, взгляд и аватар. Физический мир позволяет скрипту запрашивать информацию о воспринимаемой реальности, такую как глубина (демонстрация), предполагаемые условия освещения (демонстрация) и объекты (демонстрация).
- Виртуальные интерфейсы и контекст: Модель дополняет смешанную реальность виртуальными элементами пользовательского интерфейса, от 2D-панелей (демонстрация) до полностью 3D-моделей (демонстрация). Конвейер восприятия анализирует контекст окружающей среды, действий и истории взаимодействия. Пример приложения можно найти в Sensible Agent (подробнее об этом ниже).
- Интеллектуальные и социальные сущности : В модели мы рассматриваем агентов , управляемых ИИ, и удаленных участников -людей как основные сущности. Это позволяет вести динамичные групповые беседы в гибридных диалогах человек-ИИ в DialogLab.
Концептуальная модель реальности фреймворка XR Blocks. В центре находится Script, содержащий логику приложения и работающий на основе единой модели первоклассных примитивов, включая пользователя, физический мир, агентов ИИ и контекст приложения.
Выполнение
Данная модель реальности реализована с помощью модульного ядра XR Blocks, которое предоставляет высокоуровневые API, позволяющие разработчикам использовать следующие подсистемы без необходимости осваивать их реализацию:
- Конвейер восприятия и ввода: модули камеры, глубины и звука непрерывно передают и обновляют представление физической реальности в модели реальности. Модуль ввода нормализует действия пользователя с различных устройств, предоставляя необработанные данные для интерпретации XR-блоками.
- Искусственный интеллект как ключевой инструмент: модуль ai действует как центральная нервная система, предоставляя простые, но мощные функции (.query, .runModel), которые делают большие модели доступным инструментом.
- Инструментарий для создания пользовательского опыта и визуализации: для ускорения процесса создания инструментарий предоставляет библиотеку распространенных средств взаимодействия. Модуль ux предлагает многократно используемые варианты поведения взаимодействия, такие как .selectable и .draggable (демонстрация), а модули ui и effect отвечают за отрисовку интерфейсов и сложные визуальные эффекты, такие как окклюзия (демонстрация).
Модульная архитектура основного движка XR Blocks, состоящая из важнейших подсистем для реализации высокоуровневых абстракций фреймворка, охватывающих восприятие ( глубина , ввод ), интеграцию ИИ ( ИИ , агент ) и пользовательский опыт ( UI , UX ).
Разделяя абстрактную модель реальности от конкретного ядра, XR Blocks открывает новые мощные возможности для творческого процесса. Цель состоит в том, чтобы позволить создателям гораздо быстрее переходить от высокоуровневых, ориентированных на человека идей к интерактивным прототипам. Мы представляем себе будущее, где любая декларативная подсказка, например: «Когда пользователь сжимает объект, агент должен сгенерировать стихотворение о нем» , может быть напрямую преобразована в высокоуровневые инструкции в XR Blocks:
Таким образом, запрос создателя больше не является псевдокодом, а представляет собой прямое изложение логики реализации. Мы предполагаем, что эта структура позволит более плавно преобразовывать намерения пользователя в поток выполнения на системном уровне, комбинируя возможности модулей ввода, звука, ИИ, окружающего мира, пользовательского интерфейса и агентов для генерации возникающего интеллектуального поведения при взаимодействии с пользователем.
Грамматика взаимодействия XR-блоков абстрагирует пользовательский ввод, различая два типа взаимодействия. Явные события — это прямые, низкоуровневые входные данные (например, касание или щелчок), тогда как неявные намерения — это интерпретации более высокого уровня (например, жест или голосовая команда), позволяющие создателям строить взаимодействие в соответствии с намерениями пользователя.
Сценарии применения
Мы предлагаем набор интерактивных приложений, демонстрирующих выразительные возможности и гибкость платформы XR Blocks. Эти примеры показывают, как наша платформа позволяет быстро создавать прототипы сложных приложений, разработка которых ранее была слишком сложной и дорогостоящей, способствуя созданию реалистичных, интерактивных и интеллектуальных миров смешанной реальности:
Применение XR-блоков. (1) Реализм XR: бассейн с шариками, учитывающий глубину и основанный на физике ( демо ) и игры с брызгами ( демо ); тени, учитывающие геометрию ( демо ), 3D-гауссово распределение с окклюзией и оценка освещения. (2) Взаимодействие XR: иммерсивные эмодзи ( демо ) и игра «камень-ножницы-бумага» ( демо ), реализованные с помощью пользовательских моделей машинного обучения, динамическое распознавание жестов, касание и захват объектов в реальном мире. (3) ИИ + XR: интеграция с разговорным ИИ ( демо ), XR-объекты ( демо ), симуляция очков в XR и генерация стихов с помощью камеры реального мира.
Истинная мощь этой структуры раскрывается, когда данная модель реальности глубоко интегрируется с генеративным ИИ для создания динамичных, персонализированных сред. Мы демонстрируем это, создавая такие системы, как дополненный интеллект объектов (XR-Objects), который наделяет повседневные физические объекты интерактивными цифровыми возможностями, такими как динамические виртуальные кнопки. XR Blocks также служит основой для Sensible Agent (опубликовано на ACM UIST 2025), системы для проактивной и ненавязчивой помощи в дополненной реальности. Наша архитектура обеспечивает основную логику восприятия и взаимодействия агента, являясь примером нашей главной цели: предоставляя надежные высокоуровневые инструменты, XR Blocks позволяет исследователям взаимодействия человека и компьютера обходить низкоуровневую реализацию и напрямую сосредотачиваться на задачах более высокого порядка, таких как когнитивные принципы сотрудничества человека и агента.
воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука
Демонстрация SDK XR Blocks. (1) Использование XR Blocks с разговорным ИИ для автоматической генерации и тестирования пользовательских подсказок. (2) Запуск физического столкновения с датчиком глубины на Android XR. (3) Запуск LiteRT на устройстве с пользовательской моделью жестов для запуска XR-анимации.
Заключение и дальнейшие направления
В настоящее время создание интеллектуальных XR-приложений слишком фрагментировано, что создает серьезный барьер между видением создателя и его реализацией. Мы представили XR Blocks — архитектуру и инструментарий, которые устраняют эту сложность, предоставляя высокоуровневый уровень абстракции, отделяющий «что» (намерение) от « как» (низкоуровневая реализация), что значительно ускоряет прототипирование контекстно-зависимых приложений. Это фундаментальный шаг к будущему, где исчезнут границы между программированием, дизайном и общением, позволяя нам создавать сценарии реальности так же гибко, как и сценарии историй. XR Blocks далек от совершенства, и эта работа служит первоначальным концептуальным документом, призванным пригласить больше создателей присоединиться к нашему пути, основанному на нашей вере в то, что с правильным набором инструментов каждый может раскрыть свой внутренний творческий потенциал с помощью ИИ .
Благодарности
Эта работа является результатом совместной работы нескольких команд Google. В ее создании приняли участие следующие исследователи и инженеры: Дэвид Ли и Руофэй Ду (равный основной вклад), Нельс Нуман, Сюнь Цянь, Яньхэ Чен и Чжунъи Чжоу (равный второстепенный вклад, отсортированный в алфавитном порядке), а также Евгений Алексеев, Геонсун Ли, Алекс Купер, Минь Ся, Скотт Чунг, Джереми Нельсон, Сюсю Юань, Джолика Диас, Тим Беттридж, Бенджамин Херш, Мишель Хуинь, Конрад Пиасик, Рикардо Кабельо и Дэвид Ким. Мы хотели бы поблагодарить Махди Таярани, Макса Дзицюка, Патрика Хакетта, Сияма Цю, Брайана Коллинза, Стива Тоха, Эрика Гонсалеса, Николаса Пенья Морено, И-Фэя Ли, Цзыи Лю и Цзин Цзинь за их отзывы и обсуждения нашего предложения на ранней стадии и экспериментов с WebXR. Мы благодарим Макса Спира, Адарша Коудла и Гуру Сомаддера за конструктивную критику и ценные замечания.
Источник: research.google
