Архив рубрики ~Лента новостей~

Как сделать музыкальный клип c песней на русском в ChatGPT или Claude без навыков монтажа и опыта написания промптов: от идеи до готового видео + Skill

Как сделать музыкальный клип c песней на русском в ChatGPT или Claude без навыков монтажа и опыта написания промптов: от идеи до готового видео + Skill
Как сделать музыкальный клип c песней на русском в ChatGPT или Claude без навыков монтажа и опыта написания промптов: от идеи до готового видео + Skill
клип «Сгорело» собран в Claude

Собрал клип «Сгорело» на 1 минуту 49 секунд внутри чата с Claude. Обсуждали сюжет, выбирали героев, смотрели сцены и давали замечания. Claude писал промпты, запускал генерации через коннектор Cyber AI, обрезал ролики, склеивал их и накладывал песню.

Какие ресурсы нужны:
— Бюджет на генерации от 2000 до 5000р (зависит от длины и сложности идеи)
— Время около 4 часов
— Само приложение ChatGPT или Claude (где купить подписку напишу в комментарии к посту)
— Нужно установить плагин для ChatGPT и Claude
— Нужен Skill — это инструкция для Вашего ИИ по какому плану создавать клипы, ссылку на скачивание скила прикреплю в комментарии к посту

Первая полная версия была готова примерно через 2 часа. Думаю если убрать мелкие косяки, то бюджет догоню до 7к

Опыт этого проекта я собрал в скилл для ChatGPT и Claude. Он помогает придумать историю в диалоге, составить сценарий и пройти все этапы до монтажа. Ниже рассказываю, что понадобится и как повторить этот процесс.

Как устроена работа

В этой схеме у каждого инструмента своя задача.

ChatGPT или Claude ведёт проект: задаёт вопросы, предлагает сюжет, пишет промпты, запоминает принятые решения и работает с файлами. Через плагин CyHUB в ChatGPT или коннектор Cyber AI в Claude он получает доступ к генерации музыки, изображений и видео.

Скилл объясняет ассистенту порядок работы: что спросить перед началом, как подготовить героев, какие ошибки искать в кадрах и как собрать отдельные ролики под песню.

Для клипа это особенно удобно. У нас было десять фрагментов, несколько персонажей, разные локации и несколько версий одних сцен. Всё это нужно связать по сюжету, внешности героев и времени в песне. В чате можно написать: «Верни прежнее начало, новый подъезд оставь, а финал сделай в той же студии». Ассистент сверяется с планом и вносит изменения.

Сам клип делал в Claude. В скилле также предусмотрен процесс для ChatGPT, но полный цикл этого проекта проверен именно в Claude.

Что понадобится

  • ChatGPT или Claude с доступом к нужному плагину или коннектору.
  • Аккаунт CyHUB с балансом для генераций.
  • Скилл music-video-cyhub: скачать можно в комментарии под постом
  • Песню создаем по ходу работы в том же чате.
  • Фотографии главного героя, если нужна конкретная внешность. Вымышленных персонажей можно сделать с нуля.
  • Компьютер и папка для сохранения материалов.

Для самостоятельного монтажа ассистенту нужен запуск кода и доступ к видеофайлам. Писать команды самостоятельно не требуется, но ИИ должен иметь возможность запустить эти инструменты на Вашем ПК.

Перед основной работой попросите его проверить, может ли он загрузить исходник, скачать результат и обработать видео. Так ограничения среды обнаружатся до того, как вы потратите деньги на десяток сцен.

Шаг 1. Подключите генерацию и установите скилл

Подключите плагин для ChatGPT или коннектор для Claude (ссылки я давал в начале статьи). Там же проверьте ограничения расходов на одну генерацию и на день, после подключения коннектора, Ваш ИИ сам скажет что нужно сделать если спросите его об лимитах.

Затем скачайте архив со скиллом (см ссылку в коментариях).

Приложите архив в чат с ИИ и попросите его установить.

Первое сообщение можно написать так:

Хочу сделать музыкальный клип по скиллу music-video-cyhub. Проверь подключение, баланс и возможность монтажа. Потом помоги придумать историю. Перед каждой платной генерацией сообщай стоимость и жди моего подтверждения.

Шаг 2. Придумайте историю в диалоге

Готовый сценарий для старта не нужен. Достаточно настроения, темы или нескольких образов.

Например:

Хочу клип про девушку, которая узнаёт об измене и решает уйти. По настроению больше злости, чем слёз. Нужны сюжетные сцены и моменты, где она поёт. Помоги придумать начало и финал.

Скилл предлагает ассистенту провести интервью небольшими блоками. Он уточнит, есть ли песня, кто будет в кадре, что происходит между героями, какие нужны места и образы. Затем перескажет историю и предложит варианты.

У нас сюжет сложился вокруг нескольких действий: девушка находит переписку в телефоне, не открывает мужчине дверь, видит его с другой и отпускает кольцо в реку. Между этими сценами она поёт в студии и на крыше под дождём.

На этом этапе стоит проверить, понятна ли история без дополнительных объяснений. Если для одной сцены требуется длинный пересказ, попробуйте упростить действие.

До генераций также определите формат: горизонтальный или вертикальный клип, вся песня или короткий фрагмент, примерный бюджет.

Шаг 3. Подготовьте песню и план сцен

В нашем проекте сначала появилась история, затем текст под неё, а музыку и вокал сделали в Suno через коннектор.

После выбора песни понадобятся две версии аудио:

  • Полная песня с музыкой и голосом для итогового клипа.
  • Эта же песня но раздробленная на кусочки по 10-15 сек.

Разделение дорожек можно поручить ассистенту через доступные инструменты.

Затем он разбивает песню на короткие отрезки по границам фраз. У нас получилось десять частей примерно по 10-12 секунд. Для каждой он записывает строки песни, локацию, внешний вид героя и действие.

Попросите показать этот план до запуска видео:

Разбей песню на сцены по границам строк. Для каждой укажи время, действие, локацию и образ героини. Отметь, где она поёт, а где развивается история.

Полную песню при этом сохраняем как основу финального монтажа. Видеофрагменты подгоняем под неё, чтобы в звуке не было швов между генерациями.
Тоесть на этапе 3 — Вы делите песню на куски, и уже под эти куски мы будем придумывать отдельные сценарии/клипы, которые в будущем склеиваем.

Шаг 4. Закрепите внешность героев

Если генерировать каждую сцену независимо, лицо, одежда и возраст персонажа могут меняться.

Мы начали с листов персонажей: несколько ракурсов одного героя на одном изображении. Для главной героини сделали два образа: домашний в серой толстовке и сценический в кожаном тренче. Мужчину и вторую девушку создали с нуля.

В нашем проекте лучше работала связка из трёх элементов: исходное фото, лист персонажа и описание внешности словами. Ассистент использовал их при подготовке следующих кадров.

Сначала утвердите лица и одежду. Если образ не нравится, дешевле изменить его сейчас, чем пересоздавать готовые ролики.

В скилле для ChatGPT предусмотрена встроенная генерация изображений. В Claude кадры создаются через коннектор.

Шаг 5. Создайте и проверьте кадры

Для каждой сцены сначала готовится изображение, на основе которого будет создаваться видео. Промпт пишет ассистент, вы оцениваете результат и объясняете, что изменить.

Проверяйте лицо, руки, одежду и предметы, от которых зависит действие. Если героиня собирается взять телефон, он должен находиться в понятном месте. Если фотографию ещё не подожгли, она не должна быть обгоревшей.

У нас в заставке появились две левые руки. Причина обнаружилась в исходном изображении. После исправления кадра получилось исправить и видео.

Для точечной правки можно написать:

Оставь композицию и лицо. Исправь только руку с зажигалкой, остальное сохрани.

Если правка несколько раз не помогает, стоит изменить постановку. В сцене с кольцом мы долго боролись с неестественными пальцами и движением. Лучше сработал простой кадр: кольцо уже лежит на раскрытой ладони и соскальзывает в воду.

Шаг 6. Сгенерируйте видео и проверьте пение

После утверждения кадров ассистент запускает видеогенерацию через плагин или коннектор.

Больше всего экспериментов ушло на совпадение губ с вокалом. Один фрагмент на крыше мы пробовали сделать несколькими способами, включая Seedance и обработку в HeyGen. В этом сравнении выбрали Wan 3.0 Omni: результат устроил нас с первой попытки и стоил около 120 рублей за 11 секунд. Там где липсинг не обязателен — использовали Kling 4, тк коннектор дает самую низкую цену в России

Для пения подавали изображение героини и отдельный вокал нужного фрагмента. Лучше работали кадры, где рот уже немного открыт, лицо хорошо видно, а мимика не слишком напряжённая.

После генерации нужно проверить весь ролик. Иногда в начале губы совпадают с песней, а после смены плана появляется рассинхрон. У нас модель могла сдвинуть звук, вставить паузу или пропустить часть вокала. У меня все еще остались местами косяки, но заказчика устроило и я не стал исправлять дальше.

Ровный сдвиг иногда исправляется монтажом. Пропущенную фразу посреди пения приходилось генерировать заново. В скилле есть инструменты сравнения аудиодорожек, но совпадение губ всё равно нужно оценивать визуально.

Шаг 7. Собирайте черновик по ходу работы

После трёх-четырёх готовых сцен попросите собрать их под песню. Так проще понять, хватает ли движения, не затянут ли один эпизод и как смотрятся переходы.

Когда все части готовы, ассистент скачивает принятые версии, обрезает их по плану, приводит к одному размеру и частоте кадров, склеивает и накладывает непрерывную песню.

Правки можно давать обычным языком:

Сократи начало сцены у двери. После неё поставь кафе. Финал верни в ту же студию и в той же одежде, что была в первом припеве.

Для этого ассистент ведёт план сцен и журнал с файлами и версиями. При работе на несколько дней сохраняйте их вместе с исходниками в рабочей папке.

Если среда чата не может скачать ролики, их можно загрузить обратно вручную. Если запуск монтажа недоступен, ассистент подготовит порядок файлов и таблицу с точными длительностями для сборки в видеоредакторе.

Шаг 8. Вносите правки по одной-две сцены

После первой полной версии мы пересняли сразу семь фрагментов. По отдельности некоторые стали аккуратнее, но клип в целом понравился нам меньше. Большую часть замен откатили.

Поэтому лучше исправить одну-две сцены, сразу вставить их в общий монтаж и посмотреть клип целиком.

Старые версии сохраняйте. Мы возвращались к ним несколько раз, а из неудачной генерации иногда можно было взять удачный отдельный план.

Начало тоже оценивайте в готовом ролике. В нашем случае вместо тёмного вступления появилась живая фотография пары, вспышка на музыке и переход к тому же снимку, который горит в руках героини.

Сколько времени и денег закладывать

Наш результат: 1 минута 49 секунд, 4-5 часов и 5к рублей за 100 запусков генераций. В эту сумму вошли изображения, музыка, видео, сравнение моделей и переделки. Подписка на сам чат сюда не включена. НО тут Важно понимать, сумма может быть и ниже и выше взависимости от длины, сложности задачи, и насколько критично Вам нравится или не нравится результат для переделок.

Первый полный монтаж появился примерно через 2а часа. Остальное время ушло на просмотр, новые варианты и точечные замены.

По нашим расчётам после проекта, похожий клип с уже выбранными моделями и скилом мог бы обойтись примерно в 2-2,5 тысячи рублей. Это оценка без повторения всех экспериментов, а не бюджет второго проверенного проекта. Реальная сумма зависит от количества сцен и переделок.

Не рассчитывайте, что каждый кадр получится с первого раза. У нас были лишние кольца, неправильные руки, изменившиеся лица и рассинхрон вокала, и до сих пор есть еще над чем работать. Ассистент берёт на себя промпты, работу с инструментами и монтаж, а от человека по-прежнему нужны выбор и оценка результата.

Источник: vc.ru

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Новости робототехники Приводимый в движение мышечными клетками, тончайший, как бумага, робот плывет по водному лабиринту. Архив рубрики ~Коротко из Telegram~ Поселил ИИ‑агента в чёлку макбука: он слушает мой день и… Архив рубрики ~Коротко из Telegram~ Немой парень впервые признался в любви СИЛОЙ МЫСЛИ — его………… Новости робототехники GM делает ставку на вычислительные технологии и искусственный интеллект, которые, по её мнению, помогут ей конкурировать с китайскими автопроизводителями. Архив рубрики ~Коротко из Telegram~ В легендарный Need for Speed: Underground 2 теперь можно поиграть… Архив рубрики ~Коротко из Telegram~ ИИ придумал пистолет, и его напечатали на 3D-принтере Однозарядный пистолет… Архив рубрики ~Коротко из Telegram~ В Швейцарии с помощью бактерий разработали печатный материал, похожий на бетон Архив рубрики ~Коротко из Telegram~ Модели искусственного интеллекта позволили России применять технологии для лучших крылатых… Архив рубрики ~Коротко из Telegram~ Преимущества использования искусственного интеллекта в медицине зависят от уровня подготовки… Архив рубрики ~Коротко из Telegram~ Почему синтаксис Nova выглядит так: 11 споров с Claude о… Архив рубрики ~Коротко из Telegram~ [Перевод] О сознании и интегрированной информации. Кристоф Кох (интервью) Сознанием… Архив рубрики ~Коротко из Telegram~ Больше половины отпечатков пальцев на терракотовых воинах оставили женщины и… Архив рубрики ~Коротко из Telegram~ В ИТМО учат роботов понимать пространство, а не просто видеть…… Архив рубрики ~Коротко из Telegram~ Теперь можно буквально заглянуть внутрь любого механизма. Claude Code научили…… Новости робототехники Приводимый в движение мышечными клетками, тончайший, как бумага, робот плывет по водному лабиринту. Архив рубрики ~Коротко из Telegram~ Поселил ИИ‑агента в чёлку макбука: он слушает мой день и… Архив рубрики ~Коротко из Telegram~ Немой парень впервые признался в любви СИЛОЙ МЫСЛИ — его………… Новости робототехники GM делает ставку на вычислительные технологии и искусственный интеллект, которые, по её мнению, помогут ей конкурировать с китайскими автопроизводителями. Архив рубрики ~Коротко из Telegram~ В легендарный Need for Speed: Underground 2 теперь можно поиграть… Архив рубрики ~Коротко из Telegram~ ИИ придумал пистолет, и его напечатали на 3D-принтере Однозарядный пистолет… Архив рубрики ~Коротко из Telegram~ В Швейцарии с помощью бактерий разработали печатный материал, похожий на бетон Архив рубрики ~Коротко из Telegram~ Модели искусственного интеллекта позволили России применять технологии для лучших крылатых… Архив рубрики ~Коротко из Telegram~ Преимущества использования искусственного интеллекта в медицине зависят от уровня подготовки… Архив рубрики ~Коротко из Telegram~ Почему синтаксис Nova выглядит так: 11 споров с Claude о… Архив рубрики ~Коротко из Telegram~ [Перевод] О сознании и интегрированной информации. Кристоф Кох (интервью) Сознанием… Архив рубрики ~Коротко из Telegram~ Больше половины отпечатков пальцев на терракотовых воинах оставили женщины и… Архив рубрики ~Коротко из Telegram~ В ИТМО учат роботов понимать пространство, а не просто видеть…… Архив рубрики ~Коротко из Telegram~ Теперь можно буквально заглянуть внутрь любого механизма. Claude Code научили……

Оставить комментарий