Наша новейшая модель генерации видео более физически точна, реалистична и управляема, чем предыдущие системы. Она также включает синхронизированные диалоги и звуковые эффекты. Создавайте с её помощью в новом приложении Sora.
Скачайте приложение Sora (откроется в новом окне)
Сегодня мы выпускаем Sora 2, нашу флагманскую модель генерации видео и аудио.
Оригинальная модель Sora , созданная в феврале 2024 года, во многом стала моментом GPT-1 для видео — впервые стало казаться, что генерация видео работает, а простые модели поведения, такие как постоянство объектов, появились благодаря масштабированию вычислительных ресурсов на этапе предварительного обучения. С тех пор команда Sora сосредоточилась на обучении моделей с более продвинутыми возможностями моделирования окружающего мира. Мы считаем, что такие системы будут иметь решающее значение для обучения моделей ИИ, которые глубоко понимают физический мир. Важным этапом в этом направлении является освоение предварительного и последующего обучения на больших объемах видеоданных, которые находятся на начальной стадии развития по сравнению с языковыми данными.
Задание: фигуристка выполняет тройной аксель с кошкой на голове.
С Sora 2 мы сразу же переходим к тому, что, как нам кажется, может стать моментом GPT-3.5 для видео. Sora 2 может делать вещи, которые исключительно сложны, а в некоторых случаях и вовсе невозможны для моделей предыдущего поколения видео: олимпийские гимнастические упражнения, сальто назад на сапборде, точно имитирующие динамику плавучести и жесткости, и тройные аксели, когда кошка изо всех сил держится за что-то.
Задание: парень делает сальто назад
Предыдущие видеомодели были чрезмерно оптимистичны — они деформировали объекты и искажали реальность, чтобы успешно выполнить текстовую подсказку. Например, если баскетболист промахнулся, мяч мог спонтанно телепортироваться в кольцо. В Sora 2, если баскетболист промахнулся, мяч отскочил от щита. Интересно, что «ошибки», которые часто совершает модель, по-видимому, являются ошибками внутреннего агента, которого Sora 2 неявно моделирует; хотя она всё ещё несовершенна, она лучше соблюдает законы физики по сравнению с предыдущими системами. Это чрезвычайно важная возможность для любого полезного симулятора мира — необходимо уметь моделировать не только успех, но и неудачи.
Эта модель также представляет собой значительный шаг вперед в плане управляемости, способна следовать сложным инструкциям, охватывающим несколько кадров, при этом точно сохраняя состояние игрового мира. Она превосходно подходит для реалистичного, кинематографического и аниме-стиля.
Задание: Викинги идут на войну — Спуск на воду в Северном море (10 секунд, прохладный зимний день / раннее средневековье)…
Как универсальная система генерации видео- и аудиоконтента, она способна создавать сложные фоновые звуковые ландшафты, речь и звуковые эффекты с высокой степенью реализма.
Задание: Два горных исследователя в ярких технических куртках, с застывшими от льда лицами и прищуренными от тревоги глазами, кричат в снег, по очереди.
Вы также можете напрямую внедрять элементы реального мира в Sora 2. Например, просмотрев видео с одним из наших товарищей по команде, модель может вставить его в любую созданную Sora среду с точным воспроизведением внешности и голоса. Эта возможность очень универсальна и работает для любого человека, животного или объекта.
Задание: Бигфут очень добр к нему, даже слишком добр, даже странно добр. Бигфут хочет пообщаться, но он хочет пообщаться слишком сильно.
Модель далека от совершенства и допускает множество ошибок, но она подтверждает, что дальнейшее масштабирование нейронных сетей на видеоданных приблизит нас к моделированию реальности.
Развертывание Sora 2
На пути к созданию универсальных систем моделирования и искусственного интеллекта, способных функционировать в физическом мире, мы считаем, что люди могут получить массу удовольствия, работая над моделями, которые мы создаем в процессе работы.
Мы впервые начали экспериментировать с функцией «загрузить себя» несколько месяцев назад в команде Sora, и всем нам это очень понравилось. Это показалось нам естественным развитием коммуникации — от текстовых сообщений и смайликов до голосовых заметок.
Сегодня мы запускаем новое социальное iOS-приложение под названием «Sora», работающее на платформе Sora 2. Внутри приложения вы можете создавать и переделывать созданные друг другом видеоролики, находить новые видео в настраиваемой ленте Sora и добавлять себя или своих друзей с помощью функции « персонажи » . С помощью персонажей вы можете мгновенно попасть в любую сцену Sora с поразительной точностью после короткой одноразовой видео- и аудиозаписи в приложении, чтобы подтвердить свою личность и запечатлеть свой образ.
На прошлой неделе мы запустили приложение для всех сотрудников OpenAI. Наши коллеги уже говорят, что благодаря этой функции они заводят новых друзей в компании. Мы считаем, что социальное приложение, построенное вокруг этой функции «персонажей», — лучший способ ощутить магию Sora 2.
Ответственный запуск
Обеспокоенность по поводу бесконечного пролистывания ленты новостей, зависимости, изоляции и неоптимизированных с точки зрения реальной жизни новостных лент находится в центре внимания — вот что мы делаем для решения этой проблемы.
Мы предоставляем пользователям инструменты и возможности для контроля над тем, что они видят в ленте . Используя существующие большие языковые модели OpenAI, мы разработали новый класс алгоритмов рекомендаций, которые могут быть обучены с помощью естественного языка. Мы также внедрили механизмы для периодического опроса пользователей об их самочувствии и предоставления им возможности заблаговременно корректировать свою ленту.
По умолчанию мы показываем вам контент, в значительной степени ориентированный на людей, на которых вы подписаны или с которыми взаимодействуете, и отдаем приоритет видео, которые, по мнению модели, вы, скорее всего, будете использовать в качестве источника вдохновения для своих собственных работ. Мы не оптимизируем время, проведенное в ленте, и специально разработали приложение для максимизации творчества , а не потребления. Более подробную информацию вы можете найти в нашей «Философии ленты ».
Это приложение создано для использования с друзьями . Подавляющее большинство тестировщиков отмечают, что именно персонажи делают его особенным и интересным в использовании — нужно попробовать, чтобы по-настоящему оценить, но это новый и уникальный способ общения с людьми. Мы запускаем это приложение по приглашениям, чтобы вы могли присоединиться к нему вместе со своими друзьями. В то время как все основные платформы отходят от социальных сетей, мы считаем, что персонажи будут способствовать укреплению сообщества.
Защита благополучия подростков для нас очень важна. Мы устанавливаем ограничения по умолчанию на количество поколений, которые подростки могут видеть в ленте в день, а также вводим более строгие разрешения для персонажей этой группы. В дополнение к нашим автоматизированным системам безопасности, мы расширяем команды модераторов, чтобы оперативно рассматривать случаи травли, если таковые возникают. Мы запускаем систему родительского контроля Sora через ChatGPT, чтобы родители могли отменять ограничения на бесконечную прокрутку, отключать персонализацию алгоритма, а также управлять настройками личных сообщений.
В игре Sora вы полностью контролируете свой образ персонажа . Только вы решаете, кто может использовать вашего персонажа, и вы можете в любое время отозвать доступ или удалить любое видео, в котором он присутствует. Видео, содержащие вашего персонажа, включая черновики, созданные другими людьми, доступны для просмотра в любое время.
В этом приложении мы проработали множество вопросов безопасности — согласие на использование изображений, происхождение контента, предотвращение создания вредоносного контента и многое другое. Подробнее см. в нашем документе по безопасности Sora 2 .
Многие проблемы других приложений связаны с моделью монетизации, которая стимулирует решения, противоречащие благополучию пользователей. Честно говоря, наш единственный текущий план — в конечном итоге предоставить пользователям возможность платить определенную сумму за создание дополнительного видео, если спрос будет слишком высок по сравнению с доступными вычислительными ресурсами. По мере развития приложения мы будем открыто сообщать о любых изменениях в нашем подходе, при этом сохраняя благополучие пользователей в качестве нашей главной цели.
Мы находимся в начале этого пути, но, учитывая все мощные возможности создания и переработки контента в Sora 2, мы видим в этом начало совершенно новой эры совместного творчества. Мы оптимистично настроены, что это будет более здоровая платформа для развлечений и творчества по сравнению с тем, что доступно сейчас. Надеемся, вам понравится 🙂
Доступность Sora 2 и что будет дальше
Приложение Sora для iOS (открывается в новом окне) уже доступно для скачивания. Вы можете подписаться на push-уведомления в приложении, когда доступ к нему откроется для вашей учетной записи. Сегодня мы начинаем первоначальное развертывание в США и Канаде с намерением быстро расширить его на другие страны. После получения приглашения вы также сможете получить доступ к Sora 2 через sora.com (открывается в новом окне) . Sora 2 изначально будет доступна бесплатно с щедрыми лимитами на начальном этапе, чтобы люди могли свободно изучать ее возможности, хотя они все еще зависят от вычислительных ограничений. Пользователи ChatGPT Pro также смогут использовать нашу экспериментальную, более качественную модель Sora 2 Pro на sora.com (открывается в новом окне) (и вскоре в приложении Sora). Мы также планируем выпустить Sora 2 в API. Sora 1 Turbo останется доступной, и все, что вы создали, продолжит храниться в вашей библиотеке на sora.com (открывается в новом окне) .
Видеомодели очень быстро совершенствуются. Универсальные симуляторы мира и роботизированные агенты коренным образом изменят общество и ускорят прогресс человечества. Sora 2 представляет собой значительный шаг вперед к этой цели. В соответствии с миссией OpenAI, важно, чтобы человечество извлекало пользу из этих моделей по мере их разработки. Мы считаем, что Sora принесет миру много радости, творчества и общения.
— Автор: команда Sora
Основная цель и визуальные элементы
Первое прочтение: дракон, рассекающий зазубренные ледяные вершины, вихри на кончиках крыльев, сбрасывающие снежную пыль; второе прочтение: расколотый ледниковый покров, отступающий к кобальтовому фьорду, с янтарной каймой солнца, касающейся инея на чешуе; выражение лица говорит о хищническом спокойствии / непринужденной силе.
Формат и внешний вид
5,0 с; 4K; затвор 180°; эмуляция цифрового сенсора большого формата с четким микроконтрастом; очень мелкое зерно; умеренное ореол на бликах снега; отсутствие эффекта «воротного» переплетения.
Линзы и фильтрация
Основной объектив: сферический 50 мм на гиростабилизированной воздушной платформе, установленной на носу самолета (параллельное слежение с небольшим внутренним изгибом). Фильтр: черный Pro-Mist 1/8; круговой поляризационный фильтр, настроенный на подавление бликов от снега при сохранении зеркального блеска.
Класс / Палитра
Основные цвета: чистый ледяной белый с холодным переходом; Средние цвета: стально-синий ледник и бледно-голубой воздух; Тени: сланцево-бирюзовый с сохранившимися деталями трещин; теплая янтарная кайма по краям драконов для разделения; блики на инее/чешуе.
Освещение и атмосфера
Низкое солнце в конце дня; катабатический ветер поднимает снежную пыль; тонкая замерзшая дымка для глубины; периодические вспышки ледяной пыли в следе; слабый пар от дыхания дракона при физической нагрузке.
Место съемки и кадрирование
Возвышающееся поле ледяных глыб и острый как лезвие хребет; следы камеры движутся параллельно дракону на средней высоте, диагональные линии ледника ведут обратно к фьорду; ледяные плавники на переднем плане проходят близко, создавая эффект параллакса; никаких человеческих построек.
Примечания к костюмам / реквизиту / транспортным средствам
Н/Д (существо). Характеристики поверхности: матовые роговые гребни, полупереливающиеся чешуйчатые пластинки с микроинеем вдоль передних кромок.
Звук
Сдвиг ветра в высотных условиях, грохот перепонок крыльев при каждом взмахе, щелканье/скрип кристаллического льда на сераках, далекий грохот откола ледника; быстрый выдох/грохот дракона: «Рррх—» (менее 1 секунды). Без музыкального сопровождения — чистый диегетический трепет.
Оптимизированный список выстрелов (1 выстрел / 5,0 с)
0.0–5.0 — «Параллельный изгиб гребня» (50 мм, антенна на носу с небольшим внутренним изгибом и микротолчком)
Мы наблюдаем за драконом, который петляет по коридору из ледяных шпилей; вихри на кончиках крыльев разносят ледяную пыль в ленты; отколовшийся фрагмент падает далеко внизу, поднимая облако порошка; камера приближается — чешуя читается, янтарный край вспыхивает — затем дракон разворачивается в сторону фьорда, взмахивая хвостом и отбрасывая широкую тень на ледник.
Цель: Достичь мифического масштаба в сочетании с тактильным реализмом за один решающий проход — скорость, масса и первобытный холод.
Заметки о камере (Почему это важно читать)
50-миллиметровый объектив обеспечивает баланс между присутствием существа и масштабом ландшафта без уменьшения размеров; параллельная направляющая + внутренняя дуга передают скорость и форму; микротолчки с самым сильным нисходящим движением для акцентирования мощности; поляризатор света контролирует блики, сохраняя при этом мерцание; задняя/краевая часть, имитирующая солнце, формируют силуэт; ледяные плавники, создающие эффект параллакса и указатели скорости.
Завершение
Очень мелкое зерно (~15%); минимальное ореол на бликах снега; мягкая имитация печати для сохранения реалистичности синих и насыщенности черных тонов; многополосная динамика для сохранения гула крыльев без маскировки звука отлета; рамка плаката: дракон, рассекающий залитый солнцем ледяной глыбу, струящийся снежный вихрь, фьорд, пылающий глубоким синим цветом.
Сора 2
Исследования Гарольд Ли, Дмитрий Охонько, Ави Верма, Эрик Чжан, Рикки Ван, Трой Луман, Эрик Луман, Брэм Уоллес, Эрик Минтун, Майкл Чанг, Габриэль Петерссон, Юре Збонтар, Дэниел Генг, Уилл ДеПью, Алекс Чжао, Ченг Лу, Юфей Го, Притам Дамания, Ларри Кай, Фарзад Хорасани, Кенджи Хата, Джеймс Беткер, Владимир Чалышев, Коннор Холмс, Адитья Рамеш, Билл Пиблз Продукт Эндрю Кондрич, Эндрю Сима, Эндрю Тик, Андрей Малевич, Антонио Ди Франческо, Бинь Вен, Бинг Лян, Боян Ню, Ченг Су, Кристина Шо, Дэниел Латта-Лин, Дэвид Шнурр, Дхруба Бортакур, Дюк Тран, Гилман Толле, Грег Хохмут, Джо Тейлор, Джоуи Флинн, Джои Перейра, Джулиус Хохмут, Ки Шин, Лиам Эспаррагера, Лян Ву, Лян Сюн, Мэнчао Чжун, Мишель Хван, Мик Джермсуравонг, Майк Старр, Омар Эльфанек, Патрик Хум, Павел Комлев, Раджив Наяк, Раунак Дага, Рохан Сахай, Сергей Руденко, Шуйи Чен, Тарек Юнес, Томас Бредиллет, Томас Димсон, Виктория Хуанг, Владимир Чалышев, Велтон Ван, Весам Манассра, Сяолун Ван, Ичжэ Ю, Юн Цзян, Чжиган Ван Авторы: Аараш Хейдари, Чад Нельсон, Дэниел Фрадин, Дэвид Даксин, Хессам Багеринежад, Жасмин Самару, Джей Ван, Джесс Манзано, Кендра Римбах, Никки Соммер, Сергей Воробьев, Широнг Ву, Сохам Гованде, Суки Мансур, Тифа Чен, Томер Кафтан, Тайс Уолтерс, Варун Шетти Руководство Билл Пиблз Сора Коннор Холмс Системы Рохан Сахай Продукт Томас Димсон Продукт Натали Саммерс Руководитель аппарата Адитья Рамеш Организация Особая благодарность Адаму Маджмудару, Адель Ли, Алексею Иванову, Аравинду Сурешу, Аруну Виджайвергии, Ашкаю Паллу, Бену Леймбергеру, Брэду Лайткэпу, Шарлотте Коул, Крису Халласи, Крису Коху, Кристин Макливи, Кристоферу Лехейну, Дейну Стакки, Эду Бейесу, Эрику Сиглеру, Эрику Уоллесу, Фиджи Симо, Габриэлю Го, Гэри Бриггсу, Джеффу Салмону, Джанкарло Лионети, Грегу Брокману, Ханне Вонг, Иану Солу, Якубу Пачоцки, Джейми Киросу, Джейсону Квону, Джеффри Хану, Джоанн Джанг. Йоханнес Хайдеке, Джош Ачиам, Кейт Руш, Кевин Вейл, Лорен Итоу, Ли Цзин, Марк Чен, Марк Гевурц, Мэтт Найт, Мэтью Исоно, Макс Буркхардт, Маянк Гупта, Миа Глэзе, Мишель Фрадин, Ник Терли, Патрик Геонетта, Питер Велиндер, Филип Богданов, Прафулла Дхаривал, Роберт Сюн, Райан О'Рурк, Сэм Альтман, Сара Фрайар, Сара Рассел, Сара Варков, Спенсер Ким, Спенсер Папай, Шринивас Нараянан, Сулман Чоудхри, Шимон Сидор, Теджал Патвардхан, Викки Ламптон, Влад Фоменко, Войцех Заремба, Ихонг Сонг, Янг Ча, Ючен Чжан. Безопасность, добросовестность, политика в отношении продукции, i2, пользовательские операции . Адам Уэллс, Алеа Хауз, Энни Ченг, Арти Сюй, Каролина Паз, Клаудия Фишер, Гаррет Харкинс, Гилман Толле, Джеки Хехир, Джейк Брилл, Джесика Хариа, Кейт Биркс, Келли Стирман, Лорен Джонас, Ментонг Чжан, Педрам Кейани, Педро Агилар, Райан Ринальди, Сэм Тойзер, Сара Райан, Саванна Хеон, Шалли Джейн, Шауна О'Брайен, Тим Болл, Зои Столл. Юридический отдел: Тайс Уолтерс, Али Баттарс, Брайан Макнайт, Гидеон Майлз, Том Рубин, Дани Вестбрук, Чарльз Проктор. Коммуникации: Алекс Бейкер-Уиткомб, Анна Маккин, Эшли Тайра, Бэйли Ричардсон, Габи Райла, Джули Стил, Лия Анис, Нико Феликс. Маркетинг, дизайн и креатив: Адам Брэндон, Адриан Гунади, Александр Хомяков, Энн Обург, Антония Ричмонд, Бен Кинг, Кэри Хадсон, Хлоя. Бауэрс, Крис Хатчинсон, Киран Роджерс, Далхэ Ли, Дана Палми, Дэниел Штульпфаррер, Дэниел Чжан, Элиша Гринвелл Дарган, Иан Зильбер, Инджила Сама Али, Джеффри Сабин-Мацумото, Джош Кливленд, Кейтлин Джаннетти, Кеннет Кух, Ким Башет, Малиса Куч, Мелия Тандионо, Микаэла Маккринк, Минния Фенг, Ник Чиффоне, Пеймон Парсиа, Филип Ким, Филип Ким, Рейган Оллсбрук, Рой Чен, Шеннон Джагер, Томас Дегри, Сингл Хуан, Яра Хакбаз, Зак Стубенволл, отдел глобальных дел, Клаудия Фишер
Дебби Месло Стратегические финансы Чэнпэн Моу
Кэролайн Чжао АПИ Адам Уэллс, Алина Ву, Амелия Лью, Энди Лю, Анкит Гохель, Энни Ченг, Арти Сюй, Брайан Ратайчак, Чад Нельсон, Эрика Кеттлсон, Филиппо Расо, Гилман Толле, Джеки Хехир, Джефф Харрис, Джен Робинсон, Джоэнн Шин, Джон Окунь, Катя Гил Гузман, Келли Стирман, Лехер Патак, Маноли Лиодакис, Микдад Джаффер, Оливия Морган, Робин Кениг, Рохан Сахай, Рут Костиган, Сара Райан, Саванна Хон, Шаокьи Амдо, Шейли Джайн, Табарак Хан, Тоня Осадебе, Тайс Уолтерс, Вэй Сан, Венди Цзяо, Ву Ким, Йи Ма. Создано OpenAI в Сан-Франциско, Калифорния.
Опубликовано 30 сентября 2005 г.
Источник: openai.com
