Kling 4.0 вышла: как пользоваться и снять видео по ключевым кадрам

В Kling 4.0 сюжет теперь задают картинками: ставите до десяти ключевых кадров, и модель ведёт видео через них по порядку, а не придумывает середину сама. Я собрал ролик для шапки в боте Cyber AI: уборщик в холле банка в одиночку раскидывает грабителей, и герой не меняется от первой секунды до последней.

Можно подключить к своему сервису по API, или генерировать видео и прямо в чате с нейросетью в ChatGPT плагин Cyber AI ставится по прямой ссылке или поиском «Cyber AI» в разделе «Плагины» настроек, для Claude подключается тут: инструкция, для своего кода — гайд по API.

1. Открываете бота и жмёте «🚀 Открыть приложение».

2. Раздел «🎬 Видео», карточка «⚡ Kling 4.0».

3. В поле «Версия модели» выбираете одно из двух значений: «4.0» — это режим ключевых кадров, «4.0 Omni» — видео по референсам. По умолчанию там стоит 3.0, так что версию придётся переключить руками.

Дальше путь зависит от того, что у вас на руках. Есть раскадровка или хотя бы начальный кадр — берите «4.0». Есть фото персонажа, товара и пример движения из другого ролика — «4.0 Omni». Ниже про оба.

Режим «4.0» принимает три поля под картинки.

• Начальный кадр — одна картинка, с неё начнётся видео.

• Промежуточные кадры — до восьми, по порядку. Видео пройдёт через каждый.

• Финальный кадр — одна картинка, ею ролик закончится.

Всего выходит до десяти. Ни один из них не обязателен: можно дать только финальный, а начало модель придумает. Есть одно ограничение, на котором легко споткнуться: кадров не может быть больше, чем секунд в ролике, плюс один. На трёхсекундное видео поместится четыре кадра, на десятисекундное — все десять.

Порядок работы такой.

1. Подготовьте кадры. Это обычные картинки: можно сгенерировать в любой модели для фото или взять скриншоты из своего видео. Главное, чтобы на всех был один и тот же герой и одна и та же локация, иначе модель начнёт склеивать разные миры.

2. Загрузите их в нужные поля. Порядок промежуточных кадров — это и есть порядок сцен.

3. Свяжите кадры в промпте. На каждую картинку можно сослаться меткой: Frame_first — начальный, Frame_1, Frame_2 и дальше — промежуточные, Frame_last — финальный. Пишете, что происходит между ними: «от Frame_first к Frame_1 камера медленно наезжает, герой поднимает голову».

4. Выставьте длительность и качество. «Длительность» — от 3 до 30 секунд, «Качество» — 720p или 1080p, «Пропорции» — 16:9, 1:1, 9:16 или новый широкий 21:9. Звук в этом режиме включён всегда, отдельного тумблера нет.

5. Жмёте «Сохранить» и запускаете.

Чем это лучше обычного промпта? Раньше в 30-секундном ролике модель сама решала, что случится на десятой секунде, и как раз там обычно ломались лицо героя, одежда или положение предметов. Ключевой кадр закрепляет состояние сцены в конкретной точке, и модели остаётся только достроить движение между двумя известными картинками. Ошибок от этого заметно меньше, а значит меньше и перезапусков, за которые платишь.

Я на своём ролике смотрел ровно на это место — на драку в середине. Обычно именно там у героя меняется лицо, а тут и лицо, и комбинезон уборщика дожили до крупного плана в финале. Повторить его можно в том же боте, настройки выше.

У самой Kling формула простая: кто, что делает, где, как движется камера, какой свет, темп и звук. Для длинного ролика к ней добавляется разметка по времени.

• Делите ролик на куски по секундам: «0-4 с: …», «4-8 с: …». Так модель понимает, где заканчивается одна сцена и начинается другая.

• Камеру описывайте отдельно от действия: «камера следует сбоку на уровне пояса», а не «динамично».

• Звук пишите прямо: шаги, дождь, гул улицы, реплика героя в кавычках.

• Ключевые кадры называйте метками, а не словами «первая картинка».

Ну и короткий промпт тоже работает. На официальной странице релиза модель из одной фразы «An old man ranting about AI.» сама развернула эмоциональный монолог с речью и мимикой. Длинные подробные промпты нужны там, где важна точность: реклама, товар, диалог по репликам.

Промпт можно писать до 5000 символов. Больше почти никогда и не нужно: чем длиннее текст, тем выше шанс, что два требования противоречат друг другу, и модель выберет одно из них наугад.

«4.0 Omni» работает не от кадров, а от референсов. В него можно загрузить до десяти картинок и до пяти видео. Каждому референсу лучше дать одну задачу:

• фото персонажа отвечает за лицо и одежду;

• фото товара — за форму, цвет и логотип;

• видео — за движение, темп и работу камеры.

Отдельный переключатель «Сохранить звук оригинала» оставляет дорожку из загруженного видео. Перед тем как его включать, прослушайте референс целиком: чужой голос или музыка переедут в ваш ролик как есть.

Режимы не смешиваются: в «4.0» нет референсов, в «4.0 Omni» нет ключевых кадров. Нужна раскадровка — выбирайте первый, нужен узнаваемый герой или товар из фото — второй.

Полная версия стала доступна всем 15 октября, об этом сказано в официальной записи о релизе. До этого почти три недели работала только облегчённая Kling 4.0 Flash: 720p и до 20 секунд, без промежуточных кадров. Вот почему большая часть первых обзоров на самом деле про Flash.

Что действительно новое по сравнению с Kling 3.0:

• до 30 секунд за одну генерацию вместо 15;

• до десяти ключевых кадров вместо первого и последнего;

• формат 21:9 для широкого кинокадра;

• двухканальный звук и более точная синхронизация губ;

• референсы картинками и видео в одном запросе, плюс правка готового ролика.

А вот 4K — вовсе не новинка, он был ещё у 3.0. Kling обещает 10-bit HDR и продление видео до двух минут, но на момент запуска обе функции помечены как «скоро». Две минуты — это несколько продлений подряд, а не один ролик за раз. И в независимом рейтинге видеомоделей, где пользователи вслепую сравнивают ролики, 4.0 пока нет, так что громкие заявления про «лучшую нейросеть» проверять не на чем.

Музыка, которую не просили. Это же самая частая жалоба первых пользователей. Пишите в конце промпта «No background music» или «без фоновой музыки» и проверяйте результат на слух сразу после генерации.

Склейки вместо одного дубля. Модель любит сама резать сцену на планы. Если нужен непрерывный кадр, пишите это прямо в начале: «one continuous shot, no cuts».

Детали, которых не было. Kling достраивает сцену так, чтобы она выглядела естественно, и иногда добавляет одежду, предметы или действия. Лечится ключевым кадром в том месте, где деталь важна: картинка ведь сильнее текста.

Кадры спорят друг с другом. Если на первом кадре день, а на втором ночь, модель придумает переход сама, и не всегда удачно. Держите свет, локацию и героя одинаковыми на всех кадрах, меняйте только то, что должно измениться по сюжету.

Лицо плывёт на поворотах. Чем резче движение головы, тем выше шанс, что лицо изменится. Для крупных планов закладывайте спокойные движения, а резкое действие оставляйте общим планам.

Эти промпты уже прогоняли в Kling 4.0, результат опубликован. Их можно запускать как есть, текстом, без кадров, а потом добавить свои кадры и сравнить.

Встреча друзей на улице. Пример с официальной страницы Kling: один дубль с ручной камерой, толпа вокруг, английская речь.

Надпись на упаковке. Короткая проверка, удержит ли модель текст на вращающемся флаконе. Хорошо подходит для товарных роликов.

Три действия без склейки. Проверка, помнит ли модель предмет на протяжении нескольких шагов.

Те же модели можно подключить к своему сервису по API, а генерировать видео и прямо в чате с нейросетью. В ChatGPT плагин Cyber AI ставится по прямой ссылке или поиском «Cyhub» в разделе «Плагины» настроек, для Claude есть инструкция, для своего кода — гайд по API.

Всё из статьи я делал в одном боте: там Kling 4.0 в обоих режимах, а кадры для раскадровки можно сделать в соседних моделях для фото, не уходя в другие сервисы. Бот, в котором я собирал ролик: Telegram | MAX.

А вы уже пробовали ключевые кадры, или пока пишете всё одним промптом?

#нейросети #kling #видео #ии