Компания World Labs компании Fei-Fei Li ускоряет гонку мировых моделей с помощью Marble, своего первого коммерческого продукта.

Стартап World Labs, основанный пионером в области искусственного интеллекта Фэй-Фэй Ли, запускает свой первый коммерческий продукт, основанный на модели мира. Marble теперь доступен в условно-бесплатной и платной версиях, позволяя пользователям превращать текстовые подсказки, фотографии, видео, 3D-макеты или панорамы в редактируемые и загружаемые 3D-среды.

Запуск генеративной модели мира, впервые представленной в виде ограниченной бета-версии два месяца назад, состоялся чуть больше года спустя после того, как World Labs вышла из тени, получив финансирование в размере 230 миллионов долларов, и позволила стартапу опередить конкурентов, создающих модели мира. Модели мира — это системы искусственного интеллекта, которые генерируют внутреннее представление окружающей среды и могут использоваться для прогнозирования будущих результатов и планирования действий.

Такие стартапы, как Decart и Odyssey, выпустили бесплатные демоверсии, а Genie от Google всё ещё находится в стадии ограниченного ознакомительного исследования. Marble отличается от них — и даже от собственной модели реального времени RTFM от World Labs — тем, что создаёт постоянные, загружаемые трёхмерные среды, а не генерирует миры «на лету» по мере исследования. По словам компании, это снижает морфинг и несоответствия, а также позволяет пользователям экспортировать миры в виде гауссовых пятен, сеток или видео.

Marble — это также первая в своем роде модель, предлагающая встроенные в ИИ инструменты редактирования и гибридный 3D-редактор, позволяющий пользователям зарисовывать пространственные структуры, прежде чем ИИ заполнит визуальные детали.

«Это совершенно новая категория моделей, создающих трёхмерные миры, и со временем она будет совершенствоваться. Мы уже значительно улучшили её», — рассказал TechCrunch Джастин Джонсон, соучредитель World Labs.

В декабре прошлого года компания World Labs продемонстрировала, как её ранние модели могли генерировать интерактивные 3D-сцены на основе одного изображения. Несмотря на впечатляющие результаты, несколько мультяшные сцены не были полностью доступны для изучения, поскольку движения ограничивались небольшой областью, а иногда возникали ошибки рендеринга.

В ходе моего ознакомительного бета-тестирования я обнаружил, что Marble генерирует впечатляющие миры, используя только изображения-подсказки — от игровых окружений до фотореалистичных версий моей гостиной. Сцены искажались по краям, хотя, похоже, в сегодняшнем запуске это было исправлено. Тем не менее, мир, который я создал в бета-версии, используя одну подсказку, выглядел лучше и точнее соответствовал моему замыслу, чем тот же самый мир сейчас.

Я еще не тестировал функции редактирования, хотя Джонсон говорит, что они делают Marble пригодным для краткосрочных игровых проектов, проектов по созданию визуальных эффектов и виртуальной реальности (VR).

«Одна из наших главных тем для Marble в будущем — это контроль над творческим процессом», — сказал Джонсон. «Всегда должен быть быстрый способ что-то создать, но вы должны иметь возможность погрузиться ещё глубже и получить полный контроль над тем, что вы создаёте. Вы же не хотите, чтобы машина просто взяла управление на себя и отняла у вас всё творчество».

В Marble творческий подход к управлению начинается с гибкости ввода. Бета-версия допускала только отдельные изображения, что заставляло модель создавать невидимые детали для панорамного обзора. С выходом полной версии пользователи смогут загружать несколько изображений или коротких клипов, чтобы показать пространство с разных ракурсов и получить от модели достаточно реалистичные цифровые двойники.

Затем у нас есть Chisel, экспериментальный 3D-редактор, который позволяет пользователям создавать грубые пространственные макеты (например, стены, блоки или плоскости), а затем добавлять текстовые подсказки для определения визуального стиля. Marble генерирует мир, отделяя структуру от стиля — подобно тому, как HTML определяет структуру веб-сайта, а CSS добавляет цвет. В отличие от текстового редактирования, Chisel позволяет напрямую манипулировать объектами.

«Я могу просто пойти туда, взять 3D-блок, представляющий диван, и переместить его в другое место», — сказал Джонсон.

Еще одна новая функция, которая дает вам больше возможностей для редактирования, — это возможность расширять мир.

«Создав мир, вы можете расширить его до одного раза», — сказал Джонсон. «Когда вы перемещаетесь в часть мира, которая начинает распадаться, вы, по сути, можете приказать модели расшириться там или создать новый мир поблизости от вашего текущего местоположения, и тогда она сможет добавить больше деталей в эту область».

Пользователи, желающие создавать очень большие пространства, могут объединять несколько миров с помощью «режима композитора». Джонсон продемонстрировал мне это на примере двух миров, которые он уже построил: комнаты из сыра с виноградными стульями и ещё одного — футуристического конференц-зала в космосе.

Путь к пространственному интеллекту

Marble доступен по четырем тарифным планам: Free (четыре поколения из текста, изображения или панорамы), Standard (20 долларов США в месяц, 12 поколений плюс возможность ввода нескольких изображений/видео и расширенное редактирование), Pro (35 долларов США в месяц, 25 поколений с расширением сцен и коммерческими правами) и Max (95 долларов США в месяц, все функции и 75 поколений).

Джонсон считает, что изначально Marble будет использоваться в играх, создании визуальных эффектов в кино и виртуальной реальности.

Разработчики игр испытывают смешанные чувства по поводу этой технологии. Недавний опрос на конференции разработчиков игр показал, что треть респондентов считают, что генеративный ИИ оказывает негативное влияние на игровую индустрию — на 12% больше, чем годом ранее. Среди главных проблем были кража интеллектуальной собственности, энергопотребление и снижение качества контента, создаваемого ИИ. В прошлом году расследование Wired показало, что игровые студии, такие как Activision Blizzard, используют ИИ для экономии времени и борьбы с оттоком игроков.

Джонсон видит, как в играх разработчики используют Marble для создания фоновых сред и пространств, а затем импортируют эти ресурсы в игровые движки, такие как Unity или Unreal Engine, для добавления интерактивных элементов, логики и кода.

«Он не предназначен для замены всего существующего конвейера для игр, а просто для предоставления вам активов, которые вы можете загрузить в этот конвейер», — сказал он.

По словам Джонсона, при работе с визуальными эффектами Marble обходит стороной непоследовательность и недостаточный контроль камеры, характерные для видеогенераторов на базе ИИ. Его 3D-ресурсы позволяют художникам создавать сцены и управлять движением камеры с идеальной точностью, добавил он.

Хотя Джонсон заявил, что World Labs сейчас не фокусируется на приложениях виртуальной реальности (VR), он отметил, что индустрия «жаждет контента» и с нетерпением ждёт запуска. Marble уже совместим с VR-гарнитурами Vision Pro и Quest 3, и каждый сгенерированный мир можно увидеть в VR уже сегодня.

Marble также может найти потенциальное применение в робототехнике. Джонсон отметил, что, в отличие от генерации изображений и видео, робототехника не обладает преимуществом в виде большого хранилища обучающих данных. Но с такими генераторами, как Marble, становится проще моделировать условия обучения.

Согласно недавнему манифесту Фэй-Фэй Ли, генерального директора и соучредителя World Labs, Marble представляет собой первый шаг к созданию «по-настоящему пространственно интеллектуальной модели мира».

Ли считает, что «следующее поколение моделей мира позволит машинам достичь пространственного интеллекта на совершенно новом уровне». Если большие языковые модели способны научить машины читать и писать, Ли надеется, что такие системы, как Marble, научат их видеть и строить. Она утверждает, что способность понимать, как существуют и взаимодействуют вещи в трёхмерном пространстве, в конечном итоге может помочь машинам совершить прорыв за пределы игр и робототехники, а также в науке и медицине.

«Наши мечты о по-настоящему интеллектуальных машинах не будут полными без пространственного интеллекта», — написал Ли.

Есть конфиденциальная информация или документы? Мы рассказываем о внутренней работе индустрии ИИ — от компаний, формирующих её будущее, до людей, на которых влияют их решения. Свяжитесь с Ребеккой Беллан по адресу rebecca.bellan@techcrunch.com или с Расселом Брэндомом по адресу russell.brandom@techcrunch.com. Для безопасного общения вы можете связаться с ними через Signal по адресам @rebeccabellan.491 и russellbrandom.49.

Источник: techcrunch.com