Компания Runway выпустила свою первую в мире модель, добавив встроенный звук в новейшую видеомодель.
Началась гонка за выпуск моделей мира, созданных с помощью искусственного интеллекта, и компания Runway, занимающаяся генерацией изображений и видео, присоединяется к растущему числу стартапов и крупных технологических компаний, запуская свою первую такую модель. Модель, получившая название GWM-1, работает за счет покадрового прогнозирования, создавая симуляцию с учетом законов физики и того, как мир ведет себя на самом деле с течением времени, сообщила компания.
Мировая модель — это система искусственного интеллекта, которая обучается внутренней симуляции того, как устроен мир, чтобы она могла рассуждать, планировать и действовать, не нуждаясь в обучении на всех возможных сценариях реальной жизни.
Компания Runway, которая в начале этого месяца запустила свою видеомодель Gen 4.5, превзошедшую по результатам Google и OpenAI в рейтинге Video Arena, заявила, что ее модель GWM-1 является более «универсальной», чем Genie-3 от Google и другие конкуренты. Компания позиционирует ее как модель, способную создавать симуляции для обучения агентов в различных областях, таких как робототехника и биологические науки.
«Чтобы создать модель мира, нам сначала нужно было создать действительно качественную видеомодель. Мы считаем, что правильный путь к созданию модели мира — это обучение моделей прямому прогнозированию пикселей, что является лучшим способом достижения универсального моделирования. При достаточном масштабе и наличии необходимых данных можно построить модель, которая достаточно хорошо понимает, как устроен мир», — сказал технический директор компании Анастасис Германидис во время прямой трансляции.
Компания Runway выпустила отдельные версии или модификации новой модели мира, получившие названия GWM-Worlds, GWM-Robotics и GWM-Avatars.
GWM-Worlds — это приложение для модели, позволяющее создавать интерактивные проекты. Пользователи могут задать сцену с помощью подсказки или изображения, и по мере исследования пространства модель генерирует мир, учитывая геометрию, физику и освещение. Компания отметила, что симуляция работает со скоростью 24 кадра в секунду и разрешением 720p. Runway заявила, что, хотя Worlds может быть полезен для игр, он также хорошо подходит для обучения агентов навигации и поведения в физическом мире.
С помощью GWM-Robotics компания стремится использовать синтетические данные, обогащенные новыми параметрами, такими как изменяющиеся погодные условия или препятствия. По словам Runway, этот метод также может выявить, когда и как роботы могут нарушать правила и инструкции в различных сценариях.
Компания Runway также создает реалистичные аватары под брендом GWM-Avatars для имитации человеческого поведения. Такие компании, как D-ID, Synthesia, Soul Machines и даже Google, работали над созданием реалистичных аватаров, которые могут использоваться в таких областях, как общение и обучение.
Компания отметила, что технически Worlds, Robotics и Avatars — это отдельные модели, но в конечном итоге она планирует объединить их в одну модель.
Помимо выпуска новой модели, компания также обновляет свою базовую модель Gen 4.5, выпущенную ранее в этом месяце. Новое обновление добавляет в модель встроенную поддержку звука и возможности создания длинных многокадровых видеороликов. Компания заявила, что с помощью этой модели пользователи могут создавать одноминутные видеоролики с сохранением единообразия персонажей, встроенным диалогом, фоновым звуком и сложными кадрами с разных ракурсов. Компания также сообщила, что можно редактировать существующий звук и добавлять диалоги. Кроме того, можно редактировать многокадровые видеоролики любой длины.
Обновление Gen 4.5 приближает Runway к универсальному видеопакету конкурента Kling, который также был запущен ранее в этом месяце, особенно в части нативного аудио и многокадрового повествования. Оно также свидетельствует о переходе моделей генерации видео от прототипов к инструментам, готовым к производству. Обновленная модель Gen 4.5 от Runway доступна всем пользователям платных тарифных планов.
Компания заявила, что предоставит доступ к GWM-Robotics через SDK. Она также добавила, что ведет активные переговоры с несколькими робототехническими фирмами и предприятиями по поводу использования GWM-Robotics и GWM-Avatars.
Источник: techcrunch.com