Компания Runway не смогла исправить ошибку в своей модели видеосъемки с использованием искусственного интеллекта, поэтому превратила ошибку в функцию.

Бен Диксон

Компания Runway потратила несколько недель, пытаясь устранить упорную ошибку: созданные с помощью ИИ аватары смещались от центра во время генерации видео в реальном времени. Решение заключалось не в патче на бэкэнде, а в новой функции на фронтенде, которая просто обходила проблему. Именно такой урок продемонстрировал Райан Филлипс, руководитель отдела корпоративных продуктов Runway ML, на конференции VB Transform 2026, утверждая, что даже компании, не занимающиеся разработкой базовых моделей самостоятельно, могут многому научиться у Runway в том, как они создают, оценивают и внедряют их.

«Я думаю, что даже если вы сами не занимаетесь созданием моделей, полезно узнать, как мы это делаем, потому что, на мой взгляд, почти все полученные знания применимы к тому, чем вы занимаетесь ежедневно», — сказал Филлипс.

Runway — это компания, занимающаяся прикладными исследованиями в области искусственного интеллекта и создающая универсальные модели окружающего мира для генеративных инструментов. В ходе своей презентации Филлипс продемонстрировал Runway Characters — видеомодель реального времени, которая обеспечивает взаимодействие без задержек с аватарами, созданными ИИ. Пять лет назад создание видео с неразборчивым текстом и низкой частотой кадров занимало у художников сотни часов, которые они тратили на сшивание отдельных кадров, сказал он. Сегодня модели Runway генерируют интерактивное видео в режиме реального времени.

«Изучение того, как мы создаем эти модели в реальном времени, может вдохновить вас на разработку и внедрение в ваших компаниях сегодня таких интерактивных решений, как агентских, так и неагентских», — сказал он.

Разъяснение методов оценки

Создание надежного продукта на основе ИИ начинается с высококачественного оценочного набора данных. Однако создание этого набора нельзя рассматривать исключительно как инженерную задачу. Оно требует глубокого взаимодействия между различными подразделениями — отделами разработки продукта, дизайна, исследований и продаж — для определения того, что на самом деле означает «качество».

Филлипс подчеркнул важность проведения внутренних семинаров, на которых члены команды совместно анализируют созданные примеры. Цель состоит в том, чтобы согласовать действия всей организации в отношении конкретных типов сбоев, чтобы у всех было единое определение успешного процесса генерации.

«Мы потратили много времени, работая с нашей командой, разбирая примеры… того, как выглядят успех и неудача, вплоть до самых мельчайших деталей», — сказал Филлипс.

Полученный в результате набор оценочных данных должен охватывать широкий спектр сценариев использования клиентами, а также экстремальные крайние случаи. Например, Филлипс подчеркнул, что для обеспечения предсказуемого поведения модели при выходе за рамки стандартных человеческих лиц, они использовали «Зуб» — нечеловеческого персонажа без носа и с очень необычными зубами.

При оценке этих видеороликов команда Runway ищет едва заметные артефакты. Например, видео, где лицо персонажа осталось неизменным, но элементы фона, такие как сетка, начали деформироваться, было оценено как провальное.

Несмотря на передовые технологии продукта, инструмент, используемый Runway для отслеживания результатов оценок, прост: электронная таблица Excel. Команда ежедневно регистрирует результаты тестов, классифицируя их как «незначительные» или «серьезные» сбои в соответствии с заранее определенным процентом успешных результатов.

«Перед началом работы мы устанавливаем планку — какой процент правильных ответов нам необходимо выполнить, и когда мы достигаем этого показателя, мы отправляем модель на тестирование», — сказал Филлипс. «Так что это не волшебство».

Для корпоративных разработчиков, сталкивающихся с непредсказуемым изменением качества в своих собственных конвейерах обработки данных в реальном времени, ручная оценка в больших масштабах является узким местом. Для решения этой проблемы, как отметил Филлипс, разработчики могут использовать языковые модели для автоматизации процесса визуальной оценки.

«Ученые с магистерской степенью становятся довольно хорошими экспертами в оценке такого контента, особенно тех видов морфинга или изменений, которые можно увидеть в оценочном наборе», — сказал он. Команды также могут предоставлять ученику с магистерской степенью контекст, описывающий процесс создания и проверки контента (например, эскиз, нарисованный от руки, или структурную схему рекламного объявления), чтобы направлять процессы генерации и проверки, обеспечивая качество без дополнительной когнитивной нагрузки на конечного пользователя.

Обучение моделей и превращение ошибок в функциональные возможности.

Для создания генеративного видео в реальном времени требуется высокооптимизированный технический стек. Процесс начинается с предварительного обучения массивной базовой модели, что требует больших ресурсов и медленно генерирует выходные данные. Для достижения задержки в реальном времени Runway использует дистилляцию, при которой меньшая и более быстрая «ученая» модель обучается имитировать большую «учительскую» модель. По словам Филлипса, дистилляция помогает Runway сократить «время генерации на 80–90%».

Затем команда применяет к дистиллированной модели состязательное постобучение (APT). Этот метод заставляет модель постоянно совершенствоваться, тестируя ее с помощью системы, предназначенной для выявления ее недостатков, что помогает восстановить визуальную четкость, утраченную в процессе дистилляции.

Однако изменение архитектуры модели вносит новые проблемы. На этапах дистилляции и APT возникла стойкая ошибка: символы раскачивались или смещались от центра кадра во время генерации в реальном времени.

По его словам, команда потратила несколько недель, пытаясь исправить основную модель, чтобы устранить дрейф. В конечном итоге они обнаружили, что если исходное изображение, введенное пользователем, идеально центрировано, сгенерированное видео остается стабильным. Вместо того чтобы тратить больше времени на разработку патча для бэкэнда, Runway переключилась на решение, улучшающее пользовательский опыт.

«Когда мы заметили это в ходе наших оценок, мы подумали: «А что, если мы просто предложим это как функцию?» Если пользователь предоставляет нам персонажа, повернутого влево, мы знаем, что видео будет трансформироваться. Давайте просто исправим это для них», — сказал Филлипс.

Они внедрили функцию внешнего интерфейса под названием «Оптимизация качества изображения», которая автоматически центрирует изображение пользователя перед началом генерации. Благодаря тому, что ограничение модели бэкэнда было интегрировано в инструмент внешнего интерфейса, пользователи восприняли эту функцию как полезную, а не как технический недостаток.

«Превратите ограничения модели в функциональные возможности продукта, чтобы вы могли расширить его функциональность», — посоветовал Филлипс. «Внутри это может восприниматься как ограничение, но ваши клиенты не будут видеть это так, если вы заложите это как функциональную особенность продукта».

Дьявол кроется в деталях инфраструктуры.

Для обеспечения глобальной доставки видео со скоростью 24 кадра в секунду требуется оптимизация каждого уровня инфраструктуры. Это включает в себя всё: от кэширования и параллельного декодирования до внесения существенных изменений в ядро системы в сотрудничестве с поставщиками оборудования, такими как Nvidia.

Вскоре после запуска Runway Characters он сообщил, что команда заметила, что 8% вызовов API стали выполняться с частотой 16 кадров в секунду, что приводило к подтормаживанию видео для клиентов.

Для выявления первопричины потребовалась глубокая наблюдаемость. Команда использовала агента искусственного интеллекта на базе Claude, а также инструменты мониторинга, такие как Datadog и Sentry, для отслеживания аномалии. В ходе отладки проблема была локализована в одном центре обработки данных в регионе us-east-1.

«На самом деле решение заключалось не в том, чтобы что-то починить или изменить конфигурацию, — объяснил Филлипс. — Они физически заменили эти графические процессоры в центре обработки данных, чтобы исправить ситуацию, и это в конечном итоге решило проблемы».

Для корпоративных команд, развертывающих приложения реального времени, вывод очевиден: аппаратные и инфраструктурные аномалии напрямую влияют на производительность модели, требуя тщательных возможностей отладки всего стека.

«Не забывайте обо всех мелочах, потому что их очень много при внедрении этих моделей», — сказал Филлипс.

Как пережить «ад неудач» и будущее создания миров

Разработка систем искусственного интеллекта редко бывает линейным процессом. Команды часто застревают на несколько недель на решении одной и той же проблемы, и конца этому не видно — фаза, которую Филлипс назвал «адом неудач».

«Мы считаем, что нужно пройти через эту боль и по-настоящему побороться с проблемой некоторое время, прежде чем удастся добиться прорыва», — сказал он. Последовательные итерации в конечном итоге сглаживают кривую сложности, вызывая внезапные, экспоненциальные улучшения.

По мере того, как базовые модели преодолевают эти технические препятствия, роль корпоративных креативщиков также коренным образом меняется. Традиционно маркетинговые и дизайнерские команды сосредотачивались на создании отдельных элементов, таких как конкретная реклама или иллюстрация. В эпоху генерации в реальном времени и автоматизированных рабочих процессов эта парадигма смещается в сторону определения параметров, эстетики и интеллектуальной собственности.

«Вы можете не создавать отдельный рекламный ролик, но можете создать мир, из которого агент или видеомодель в реальном времени смогут генерировать рекламу», — сказал Филлипс.

Источник: venturebeat.com