Микрофон не нужен: с помощью инструментов Adobe для работы со звуком на основе искусственного интеллекта вы можете создавать музыку и речь.
Инструментальные саундтреки, созданные с помощью ИИ от Adobe, поставляются с универсальной лицензией, что означает, что их можно безопасно использовать в любом проекте.
Кейтлин Шедрауи
Кейтлин — репортер CNET, освещающая вопросы искусственного интеллекта, включая чат-боты, генераторы изображений и видео… Читать полную биографию
Кейтлин Шедрауи
Прочитать полную биографию
4 минуты чтения 
Компания Adobe расширяет свои возможности в области искусственного интеллекта для работы со звуком. ismagilov/iStock/Getty Images
В четверг компания Adobe объявила о расширении своей обширной коллекции инструментов искусственного интеллекта, на этот раз с акцентом на аудио. Новые инструменты Firefly AI используют ИИ для генерации речи, музыки и звуковых эффектов, формируя «очень стабильную основу» аудиовозможностей для создателей контента, заявил Джей ЛеБоф, руководитель направления ИИ в аудио в Adobe.
В отличие от Suno или других генераторов музыки на основе ИИ, которые могут создавать целые песни за считанные секунды, Adobe предлагает более целенаправленные инструменты профессионального уровня для кинематографистов, музыкантов и создателей контента. Представьте себе, как ИИ преобразует сценарии создателей в аудио для наложения на видео в TikTok или создает собственные саундтреки, не опасаясь нарушения авторских прав, благодаря универсальной лицензии Adobe.
«Мы не пытаемся стать музыкальным сопровождением чьей-то свадьбы», — сказал ЛеБоф в интервью. Цель состоит в создании «полезных инструментов» на основе искусственного интеллекта, которые помогут решить проблемы, возникающие в процессе создания и редактирования аудио.
Для использования новых инструментов вам потребуется доступ к Firefly, центру искусственного интеллекта от Adobe, который может быть включен в вашу текущую подписку Creative Cloud в зависимости от вашего тарифного плана или прав доступа к ИИ в вашей компании. Создание аудио с помощью ИИ будет засчитываться как кредиты на генерацию, поэтому следите за тем, как быстро вы их расходуете. Вы можете оформить подписку только на Firefly по цене от 10 долларов в месяц.
Искусственный интеллект, создающий не роботизированное аудио
Для создания речи загрузите написанный вами сценарий, и программа преобразует его в аудиофайл. Вы сможете выбрать один из нескольких искусственных голосов разных полов и возрастов, а также перевести аудио на более чем 20 языков.
Если у вас есть имена или товары, которые сложно прочитать искусственному интеллекту, вы можете добавить подсказки по произношению. Например, мою фамилию, Шедрауи, можно фонетически записать как «Шед-рао-ви», вместо того ужасного звука, который издает ИИ при произнесении четырех гласных подряд.
Одна из самых больших проблем при работе с аудио на основе ИИ — это сделать голоса менее роботизированными. Монотонный звук скучен для прослушивания, и это явный признак использования ИИ. Компания Adobe разработала свою модель обработки аудио на основе ИИ, которая распознает и применяет различные эмоции к выходным данным. При использовании инструмента генерации речи Adobe можно использовать «теги эмоций», чтобы направлять ИИ на применение различных выражений.
Чтобы помочь моделям понимать эмоции, Adobe собрала больше обучающих материалов по теме эмоций, — сказал ЛеБоф. «Наша команда дизайнеров знала, что мы будем управлять ими с помощью этих прилагательных и глаголов. Поскольку это было частью обучения с самого начала, у нас есть этот хорошо интегрированный по вертикали набор инструментов, который позволяет добиться максимально качественной выразительности».
В политике Adobe в отношении ИИ говорится, что для обучения своих моделей ИИ компания использует только лицензированный и общедоступный контент и данные. Компания заявляет, что никогда не использует в своих сервисах сторонние разработки для обучения моделей.
Музыка, созданная с помощью ИИ, не нарушающая авторские права, и футуристические звуковые эффекты.
При создании музыки или саундтреков эти инструменты в первую очередь предназначены для создания фонового звука — мелодии Firefly являются исключительно инструментальными — а не полноценных песен, созданных с помощью ИИ (которые вы, скорее всего, все равно не захотите слушать).
Вы можете создать эту фоновую музыку, используя формат заполнения пропусков в стиле игры «Mad Libs». Выберите атмосферу, жанр и ситуацию, которую вы хотите, чтобы ваша музыка, созданная с помощью ИИ, отражала, например, «песня из Dreamline в электронном, эмбиентном стиле для видеоигры».
Вы можете добавлять в музыкальные подсказки, созданные с помощью ИИ, столько деталей, сколько захотите. Adobe
Если вы не знаете, с чего начать, вы можете позволить Firefly сделать за вас оценку. Загрузите видео, и ИИ сможет написать подсказку и создать четыре аудиодорожки — до 30 секунд в длину — которые могут соответствовать атмосфере вашего видео.
Звуковые эффекты составляют заключительную часть аудиотриады ИИ и требуют запроса или загрузки записи. Например, вы можете загрузить видео, в котором пытаетесь создать желаемый звуковой эффект. ИИ возьмет ваш человеческий голос и преобразует его в то, что вы захотите, например, сделает ваш рык глубже, чтобы он звучал как динозавр или монстр, синхронизируя его с видео.
Самое важное, что все аудиоматериалы, созданные с помощью ИИ Adobe, безопасны для коммерческого использования, и музыке автоматически присваивается универсальная лицензия. Это критически важно для музыкантов и создателей видеоконтента, большинство из которых, согласно недавнему опросу музыкального колледжа Беркли, сталкивались с проблемами лицензирования. Социальные сети могут наказывать пользователей за распространение видео, содержащих защищенную авторским правом музыку, без разрешения. Универсальная лицензия означает, что вам не нужно беспокоиться о том, что вас лично привлекут к ответственности за нарушение авторских прав.
«Контроль и субъектность»
Новые инструменты Adobe для работы со звуком на основе искусственного интеллекта были впервые представлены на прошлогодней конференции Adobe Max, где они были выпущены в бета-версии. Теперь, став общедоступными, они дополняют стремительно развивающийся процесс интеграции генеративного ИИ во все флагманские программы Adobe.
Искусственный интеллект уже стал частью повседневной работы, — сказал Марк Этье, исполнительный директор лаборатории новых художественных технологий Беркли. Каждый пятый опрошенный музыкант и создатель использует генеративный ИИ на каком-то этапе своего процесса, а треть использует сгенерированное ИИ аудио в своих финальных версиях.
Однако искусственный интеллект в области аудио, особенно музыки, не застрахован от противоречий и проблем, связанных с изображениями и видео, созданными с помощью ИИ. Нам трудно, если можно так выразиться, услышать разницу между музыкой, созданной ИИ, и музыкой, созданной человеком. После активного давления со стороны слушателей стриминговые платформы, такие как Spotify и Deezer, добавляют метки к музыке, созданной ИИ. Suno также добавляет метки после негативной реакции пользователей, узнавших, что сервис обучал свои модели на видео с YouTube.
«Самое важное, что мы услышали, это желание создателей иметь возможность контролировать процесс самовыражения и проявлять инициативу, — сказала Этье. — И действительно иметь инструменты, которые поддерживают их творческий процесс, а не лишают его».
Последние новости от Кейтлин
Оцените материал:
