Vibe Coding XR: Ускорение прототипирования с использованием ИИ и XR с помощью XR Blocks и Gemini

Vibe Coding XR — это рабочий процесс быстрого прототипирования, который позволяет Gemini Canvas с помощью открытого фреймворка XR Blocks преобразовывать пользовательские запросы в полностью интерактивные, учитывающие физические принципы веб-приложения WebXR для Android XR, что позволяет разработчикам быстро тестировать интеллектуальные пространственные возможности как в смоделированных средах на настольных компьютерах, так и на гарнитурах Android XR.

Быстрые ссылки

• Живая демонстрация
• Технический отчет
• XR Blocks на GitHub
• Демонстрации XR Blocks
• Видеодемонстрация
• Делиться
  • Скопировать ссылку ×

Большие языковые модели (LLM) и агентные рабочие процессы меняют разработку программного обеспечения и креативные вычисления. Мы наблюдаем сдвиг в сторону «кодирования на основе интуиции», когда LLM напрямую преобразуют намерения человека в работающий код. Такие инструменты, как Gemini Canvas, уже делают это возможным для 2D и 3D веб-разработки. Однако доступ к расширенной реальности (XR) по-прежнему затруднен. Прототипирование в XR обычно требует объединения разрозненных конвейеров восприятия, сложных игровых движков и низкоуровневой интеграции датчиков.

Быстрые прототипы, созданные на основе атмосферного кода, могут решить эту проблему. Они помогают опытным разработчикам тестировать новые пользовательские интерфейсы, 3D-взаимодействия и пространственные визуализации непосредственно в гарнитуре. Такая быстрая проверка может сэкономить дни работы над идеями, которые в конечном итоге могли бы быть отброшены. Это также упрощает создание интерактивных образовательных программ, демонстрирующих естественные науки и механику.

Сегодня мы объявляем о запуске Vibe Coding XR, призванного преодолеть этот разрыв. В этом рабочем процессе Gemini выступает в качестве творческого партнера наряду с нашей веб-платформой XR Blocks. Сочетая возможности Gemini по анализу контекста со специализированными системными подсказками и тщательно подобранными шаблонами кода, система автоматически обрабатывает пространственную логику. Она преобразует естественный язык непосредственно в функциональные, учитывающие физические принципы приложения Android XR менее чем за 60 секунд.

Наша команда проведет демонстрацию на стенде Google на конференции ACM CHI 2026. Вы также можете попробовать это прямо сегодня.

Посмотрите фильм

Ссылка на видео на YouTube

Видеоинструкция по игре Vibe Coding XR: XR Blocks Gem превращает простую задачу «создайте красивый одуванчик» в приложение для Android в формате XR менее чем за 60 секунд.

Рабочий процесс Vibe Coding XR

В течение последнего года мы итеративно проектировали и улучшали взаимодействие с Vibe Coding XR, чтобы сделать его бесшовным и доступным. Вот пример:

1. Пользователи описывают свои пожелания, не имея предварительных знаний об XR : пользователь открывает приложение XR Blocks Gem в Chrome на Android-гарнитуре XR (например, Galaxy XR). Он вводит запрос с помощью клавиатуры или голоса, например: «Создайте красивый одуванчик». При желании он может использовать Chrome на компьютере для создания XR-приложения и предварительного просмотра с помощью встроенного симулятора XR Blocks.
2. Компания Gemini разрабатывает и внедряет XR-технологии : обучаясь на примерах XR-блоков, Gemini использует свои возможности многоэтапного планирования и продвинутые аналитические способности для настройки сцены, восприятия и взаимодействия, а затем создает интерактивные XR-приложения.
3. Живая демонстрация с быстрой итерацией : в Android XR пользователь выполняет жест «щипка» на кнопке «Вход в XR», чтобы мгновенно увидеть результат — анимированный одуванчик, который улетает при нажатии. Пользователи также могут нажать кнопку «Поделиться», чтобы создать общедоступную ссылку для своего приложения.

Для упрощения тестирования мы также предоставляем среду «имитации реальности» в настольной версии Chrome. Это позволяет разработчикам быстро создавать прототипы и тестировать взаимодействия перед их развертыванием на устройствах Android XR. Многие продвинутые функции восприятия, такие как определение глубины, взаимодействие с руками и физика, лучше всего ощущаются на Android XR.

Наша платформа ускоряет прототипирование с использованием ИИ и XR, позволяя пользователям (A) тестировать результаты своего «программирования атмосферы» на настольном компьютере в среде симулированной реальности и (B) развертывать ту же демонстрацию на гарнитуре Android XR с взаимодействием с телом и руками.

Техническое описание Vibe Coding XR

Vibe Coding XR использует возможности Gemini по работе с длинным контекстом и мыслительный процесс, чтобы выступать в роли эксперта в области проектирования и разработки XR-приложений. Мы разработали специализированную систему подсказок, которая «обучает» Gemini архитектуре и примерам XR Blocks, включая рекомендации по созданию XR-среды в масштабе помещения, управлению пакетами и лучшим практикам взаимодействия с XR.

Базовая структура XR Blocks построена на основе доступных веб-технологий, таких как WebXR, three.js и LiteRT.js. Ее основной движок управляет сложным взаимодействием подсистем, необходимых для пространственных вычислений, включая восприятие окружающей среды, взаимодействие с XR и интеграцию с ИИ. В качестве контекста запроса мы используем следующие компоненты:

• Описание персонажа и руководящие принципы : Определяет, является ли магистр права экспертом в предметной области, следующим передовым практикам для создания XR-среды в масштабе помещения (например, пространственная компоновка, масштаб и расстояния взаимодействия).
• Управление пакетами: определяет, как следует обрабатывать зависимости внутри XR-блоков, и обеспечивает соблюдение рекомендуемых стилей по умолчанию.
• Исходный код и шаблоны : Предоставляет исходный код тщательно отобранного набора шаблонов и примеров XR Blocks в контекстном окне. Такая основа уменьшает иллюзии и способствует строгому соблюдению допустимых вызовов API и установленных шаблонов проектирования.

Сценарии применения: от идеи к реальности

Мы продемонстрировали универсальность рабочего процесса Vibe Coding XR на примерах прототипов, созданных с помощью vibe-кодирования:

• Репетитор по математике: Задание по запросу «Визуализируйте теорему Эйлера в геометрии. Объясните понятия вершин, ребер и граней с помощью выделения, используя различные примеры». Gemini умело выбирает тетраэдр, куб и октаэдр в качестве трех примеров, визуализирует их в XR и позволяет пользователям использовать различные стратегии выделения.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Приложение Math Tutor , разработанное с помощью Vibe , позволяет учащимся изучать геометрию в 3D.

• Лабораторная работа по физике: Задание: «Создайте интерактивный физический эксперимент: имея разные предметы по обе стороны весов, используйте разные грузы (с обозначениями), чтобы уравновесить весы». Пользователи XR могут выбирать и бросать разные грузы, чтобы интуитивно понять, как работают простые весы с уровнем в реальном мире.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Приложение для физической лаборатории , разработанное с использованием технологии Vibe , позволяет проводить практические физические эксперименты.

• Иммерсивная химия: Задача заключалась в следующем : «Создайте интерактивную химическую лабораторию, в которой пользователи смогут, сжимая пальцы, зажигать и наблюдать за тремя экспериментами: Зажгите метан на воздухе и поместите сухой холодный стакан над пламенем: пламя станет бледно-голубым, и на внутренней стенке стакана образуются капли жидкости. Зажгите этилен на воздухе: пламя станет ярким, появится черный дым и выделится тепло. Зажгите ацетилен на воздухе: пламя станет ярким, появится густой дым и выделится тепло». Компания Gemini разрабатывает обучающие карточки и создает трехмерные объемные визуализации для каждого эксперимента, обеспечивая безопасное и интерактивное взаимодействие в смешанной реальности.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Приложение для интерактивного изучения химии, созданное с помощью Vibe-coded, имитирует проведение химических экспериментов.

• Кот Шрёдингера: Вдохновение: « Эстетически приятное изображение кота Шрёдингера в XR. Сжатие пальца заставляет кота (детальную 3D-модель) войти в коробку. При приближении к коробке на расстояние менее 50 см коробка разделяется на две, которые движутся влево и вправо, а передняя стенка коробки становится прозрачной. Вы видите обе версии кота внутри (живого и мёртвого), демонстрируя квантовое состояние. При повторном сжатии один из состояний становится реальностью. Коробка открывается, и вы видите кота либо живым, либо мёртвым. Ещё одним сжатием можно начать заново». Gemini объясняет демонстрацию квантового состояния, где пользователи сжимают палец, чтобы направить 3D-кота в коробку. При приближении к нему коробка разделяется, одновременно открывая живое и мёртвое состояния, а ещё одно сжатие схлопывает суперпозицию в единую реальность.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Приложение «Кот Шрёдингера», созданное с использованием технологии Vibe, для объяснения квантовых концепций в XR.

• XR-спорт: Идея возникла из запроса: «Позвольте мне играть в волейбол руками и взаимодействовать с окружающей средой. Волейбольные мячи имеют текстурированную поверхность и запускаются из красного кольца медленно и легко отскакивают от руки». Компания Gemini создала текстурированный мяч, который реагирует как на движения рук, так и на окружающую физическую среду.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Приложение для волейбола в формате XR , разработанное с использованием технологии Vibe , позволяет быстро создавать прототипы спортивных игр в смешанной реальности.

• XR Dino: Задача, поставленная пользователем : «Создайте игру Chrome Dino в XR. Динозавр вокселизирован перед пользователем, а каждый кактус несется к нему по полупрозрачной дорожке. Добавьте звук». Компания Gemini создала XR-версию классической игры Chrome Dino, значительно сократив время прототипирования с нескольких часов до нескольких минут.

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Приложение для создания XR-игр с динозаврами, разработанное с помощью Vibe, позволяет быстро создавать прототипы игр смешанной реальности.

Мы предоставляем более конкретный контекст, например, использование данных об экзопланетах NASA, процедурную генерацию или создание текстур высокого разрешения в XR Blocks Gem, и демонстрируем итеративное уточнение в процессе Vibe Coding XR:

воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука воспроизведение видео без звука зацикливание пауза видео без звука зацикливание включение звука видео выключение звука

Слева направо или сверху вниз: Иммерсивная визуализация звездной карты НАСА, процедурная генерация карты города, исследование древнеегипетской пирамиды.

Предварительная техническая оценка

Оценка XR-приложений всегда представляла собой сложную задачу, главным образом потому, что обычно требует практического тестирования на устройстве и субъективной оценки со стороны человека. Чтобы проверить эффективность нашего конвейера Vibe Coding XR, мы создали предварительный набор данных подсказок для создания XR-приложений: VCXR60.

Набор данных VCXR60, полученный в ходе четырех одночасовых внутренних семинаров, состоит из 60 уникальных подсказок, предоставленных 20 сотрудниками Google. Используя этот набор данных, мы измерили как время выполнения, так и процент успешных однократных запусков, в частности, искали варианты выполнения без ошибок в среде симулированной реальности XR Blocks. Например, простая подсказка « Создайте красивый одуванчик, который улетит, когда я его подниму », скорее всего, будет выполнена менее чем за 20 секунд в Gemini Flash, но имеет более высокую вероятность ошибок во время выполнения по сравнению с Gemini Pro, поскольку обработка анимации и взаимодействие с руками требуют больше токенов в процессе обдумывания.

На начальном этапе мы обнаружили, что большинство первоначальных ошибок были вызваны багами в самом XR Blocks или ложными представлениями о несуществующих или устаревших API, что обеспечило примерно 70% успеха. Эти выводы подтолкнули нас к быстрому шестимесячному циклу итераций. Сегодня, после 11 крупных релизов, мы рады поделиться предварительной оценкой XR Blocks Gem v0.11.0 на наборе данных VCXR60 в качестве базового эталона.

Главный вывод для разработчиков: при работе с продвинутым XR-прототипированием использование «профессионального режима» дает наиболее надежные результаты.

Время вывода и показатель успешности однократного выполнения для XR Blocks Gem на наборах данных VCXR-60 с 5 запусками. Межквартильный размах (IQR ) определяется как разница между 75-м и 25-м процентилями данных. Для оценки мы использовали модели Gemini « предварительного просмотра » в марте 2026 года.

Заключение

Vibe Coding XR знаменует собой важный шаг на пути к будущему, где пространственные вычисления ограничены не техническими знаниями, а креативностью. Сочетая возможности логического мышления LLM с высокоуровневыми абстракциями XR Blocks, мы преодолеваем разрыв между мимолетной мыслью и осязаемой, учитывающей физические законы реальностью.

Наша команда постоянно работает над фреймворком XR Blocks, тестированием производительности и пространственным интеллектом. Мы приглашаем сообщества HCI (человеко-компьютерное взаимодействие), ИИ и XR внести свой вклад в экосистему XR Blocks на Android XR. Вы можете получить доступ к фреймворку с открытым исходным кодом и попробовать живую демоверсию по быстрым ссылкам или посетить нашу демонстрацию на ACM CHI 2026.

Благодарности

Эта работа — результат сотрудничества нескольких команд Google. В число ключевых участников проекта входят Руофэй Ду, Бенджамин Херш, Дэвид Ли, Сюнь Цянь, Нельс Нуман, Чжунъи Чжоу, Яньхэ Чен, Синъюэ Чен, Цзяхао Рен, Роберт Тимоти Беттридж, Фараз Фаруци, Сян «Энтони» Чен, Стив То и Дэвид Ким. В разработке платформы XR Blocks приняли участие следующие исследователи и инженеры: Дэвид Ли и Руофэй Ду (равный основной вклад), Нельс Нуман, Сюнь Цянь, Яньхэ Чен и Чжунъи Чжоу (равный второстепенный вклад, отсортированный в алфавитном порядке), а также Евгений Алексеев, Геонсун Ли, Алекс Купер, Брэндон Джонс, Минь Ся, Скотт Чунг, Джереми Нельсон, Сюсю Юань, Джолика Диас, Тим Беттридж, Бенджамин Херш, Мишель Хуинь, Конрад Пиасик, Рикардо Кабельо и Дэвид Ким. Мы также благодарим команды Gemini Canvas и AI Studio за их поддержку, в том числе, но не ограничиваясь ими: Тима Беттриджа, Яна Ли, Даниэля Маркеса, Девена Токуно, Левента Йилмаза, Саравану Ратинам, Сэмюэля Пети, Майка Тейлора-Цая, Аммаара Реши и Роберта Берри. Мы хотели бы поблагодарить Махди Таярани, Макса Дзицюка, Джима Ратклиффа, Патрика Хакетта, Сияма Цю, Коко Фатус, Алона Хетцрони, Аарона Кима, Инхуа Янга, Брайана Коллинза, Эрика Гонсалеса, Кейта Муна, Николаса Пенья Морено, Иданга Чжана, Джейми Пеппера, Юхао Хэ, И-Фэя Ли, Цзыи Лю и Цзин Цзинь за их отзывы и обсуждения нашего предложения на ранней стадии и экспериментов с WebXR. Мы ценим вдумчивые рецензии Тима Херрманна и Эндрю Хелтона. Мы благодарим Марьям Сангладжи, Макса Спира, Адарша Коудла, Гуру Сомаддера и Шахрама Изади за конструктивную критику и вклад.

Источник: research.google