Я позволяю Siri видеть мою жизнь на Vision Pro, и это предзнаменование грядущих событий.

Комментарий: Предварительное тестирование визуального интеллекта Siri AI в VisionOS 27 уже создает ощущение кардинального изменения ситуации и предвкушения появления носимых устройств с камерой, таких как очки.

В бета-версии VisionOS 27 для разработчиков уже реализованы невероятные возможности Siri на Vision Pro. Это мой иммерсивный фон, созданный на основе панорамной фотографии скалистого берега Великобритании.

Скриншот предоставлен Скоттом Стайном/CNET.

В моем кабинете есть книжные полки, где я храню свои фокусы. Рядом с ними — панорамные окна с видом на Париж — хотя, на самом деле, это не совсем панорама. Это наложения смешанной реальности, которые я вижу, когда надеваю гарнитуру Apple Vision Pro , и которые привязаны к моим реальным окнам. На стене висят виртуальные часы.

Книжные полки настоящие; парижские окна и настенные часы — нет. Но Siri, которую я вызываю в виде светящегося шара перед собой, видит их все. Когда я спрашиваю, что находится передо мной, текстовое поле Siri описывает все это.

Мои первые впечатления от использования Vision Pro и тестирования всевидящего ИИ Siri в предварительной версии VisionOS 27 для разработчиков оказались неожиданными, но очень знакомыми. Подобные моменты у меня уже были в гарнитуре Samsung Galaxy XR , которая уже имеет режим Gemini Live, способный распознавать вашу комнату, а также открытые виртуальные приложения и окна. Я также носил множество умных очков , где просил ИИ, использующий камеру, рассказать мне об окружающем мире во время прогулок.

Как я и ожидал , этой осенью Apple выпустит новую, улучшенную версию Siri для целого ряда устройств, от Apple Watch до iPhone и iPad, и расширяет свои возможности визуального интеллекта за пределы iPhone. Однако Siri в Vision Pro — самая захватывающая и, возможно, самая амбициозная. Она может видеть всё в вашем поле зрения по команде, словно сенсорный помощник.

В этой самой ранней предварительной версии, представленной всего несколько дней назад на конференции WWDC от Apple , не всё идеально, но она уже работает достаточно хорошо, чтобы показать, что может появиться в будущем. Да, теперь кажется вполне возможным создать очки, способные на такое. А тем временем вспомогательные функции Vision Pro тоже станут довольно интересными.

Светящийся шар Siri готов к работе с самого начала.

В отличие от режимов визуального интеллекта в iOS и iPadOS, которые запускаются через приложение «Камера», Siri в Vision Pro может видеть объекты, если вы просто скажете: «Привет, Siri» и зададите вопрос.

Siri появляется в виде светящегося трехмерного шара, материализуясь в моей комнате, словно дух. Ее можно перетащить куда угодно, но интересно наблюдать, как светящийся шар создает световые эффекты на моем столе или в комнате благодаря пространственному графическому движку VisionOS.

Я смог сказать: «Привет, Siri, что передо мной?», и это активировало визуальный интеллект, издав новый звук, а затем быстро просканировав область, на которую смотрели мои глаза, используя отслеживание взгляда. Это позволило ему охватить широкий круг объектов: он смог увидеть мою книжную полку, полную книг, и все маленькие фигурки и игрушки, которые я там разместил. Он даже прочитал мне несколько названий книг, например, «Узумаки» и «Чудесная книга».

Обратная связь от ИИ появляется после того, как камера делает снимок того, что находится передо мной, будь то реальный или виртуальный объект. Это похоже на ритм отклика других систем ИИ на основе камер, используемых в очках Meta или Samsung Galaxy XR.

Но в нем нет режима прямой трансляции, как в тех очках и гарнитурах. Для каждого запроса достаточно одного щелчка мышью.

Распознавание реального и виртуального

На моем столе Siri смогла распознать красные очки виртуальной реальности ( Virtual Boy ) и Steam Deck , оба предмета были настоящими. После этого я попробовал посмотреть на свои виртуальные окна Парижа, виджет настенных часов и книжную полку, полную волшебства, и она тоже их распознала.

В этой ранней бета-версии Siri имела тенденцию некоторое время оставаться на определенном изображении и анализировать этот захват, если я не закрывал Siri или не перемещал шар, чтобы попробовать снова. Или, я думаю, я просто к этому привыкаю.

Но я уже задумываюсь, как можно использовать это визуальное восприятие для быстрого выполнения работы. Я попросил Siri кратко изложить содержание моего недавнего произведения в приложении «Заметки», которое я просто открыл по запросу (она кратко изложила ключевые моменты), и спросил её о окнах браузера, открытых на моём MacBook, через виртуальный дисплей. (Сейчас, пока я работаю над этим текстом в Vision Pro на своём Mac, она сообщает мне, что у меня открыто окно Google Docs, где я пишу о том, как Siri распознаёт реальные и виртуальные объекты.)

Превращение собственных фотографий в панорамные 3D-фоны.

Я также протестировал новый эффект преобразования панорамных фотографий в VisionOS 27, который позволяет превратить любую панорамную фотографию в вашей библиотеке в трехмерный фон, который можно использовать во время работы.

Результаты не такие объемные, как в иммерсивных средах Apple, и в них нет движения или окружающих звуковых эффектов. Скорее это очень большие, супер-объемные 3D-окна, по краям которых все еще видна часть моего офиса.

Выглядит замечательно, хотя не все мои панорамные фотографии удалось конвертировать (пока ещё слишком рано, уверен, всё наладится). Я открыл фотографию моей мамы на заднем дворе, когда навещал её во время пандемии, и теперь она встречает меня так, будто я снова почти там. Было бы здорово, если бы Vision Pro добавил возможность полного погружения в панорамную съёмку с использованием метода Гаусса из нескольких фотографий, как это реализовано на Meta Quest.

Я не могу не думать о том, как ожидаемые умные очки Apple будут использовать Siri, способную распознавать пользователя, в качестве вспомогательного инструмента. Но я забегаю вперед. Сейчас для этого нужны Vision Pro за 3499 долларов. Но когда у Apple появятся очки дополненной реальности, подобные Project Aura от Google и Xreal, которые будут меньше и доступнее? И когда другие приложения смогут интегрироваться с платформой Siri? Будет очень интересно посмотреть, что произойдет дальше. Мне кажется, я только заглядываю за кулисы грядущих событий.