Патрик Дарлинг использовал музыкальный инструмент от ElevenLabs, чтобы исполнить песню со своими бывшими коллегами по группе.
В зале раздаются слезы, когда начинает звучать песня Патрика Дарлинга. Это проникновенная песня, написанная в память о его прадеде, с которым ему так и не довелось познакомиться. Но это выступление трогает до глубины души и по другой причине: Дарлинг впервые выходит на сцену со своими коллегами по группе с тех пор, как два года назад потерял способность петь.
Связанная статья
У 32-летнего музыканта в возрасте 29 лет диагностировали боковой амиотрофический склероз (БАС). Как и другие виды заболеваний двигательных нейронов (БАС), он поражает нервы, иннервирующие мышцы тела. Люди с БАС в конечном итоге теряют способность контролировать свои мышцы, в том числе те, которые позволяют им двигаться, говорить и дышать.
Последнее выступление Дарлинга на сцене состоялось более двух лет назад. К тому моменту он уже потерял способность стоять и играть на своих инструментах, а также с трудом пел и говорил. Но недавно ему удалось восстановить утраченный голос с помощью инструмента искусственного интеллекта, обученного на фрагментах старых аудиозаписей. Другой инструмент ИИ позволил ему использовать этот «голосовой клон» для сочинения новых песен. Дарлинг снова может заниматься музыкой.
«К сожалению, я утратил способность петь и играть на своих инструментах», — сказал Дарлинг на сцене мероприятия, которое состоялось в Лондоне в среду, используя свой голосовой клон. «Несмотря на это, большую часть времени я посвящаю сочинению и продюсированию музыки. Сейчас это для меня важнее, чем когда-либо».
Потеря голоса
Дарлинг говорит, что занимается музыкой и композиторской деятельностью примерно с 14 лет. «Я научился играть на бас-гитаре, акустической гитаре, фортепиано, мелодике, мандолине и тенор-банджо», — сказал он на мероприятии. «Но больше всего я любил петь».
По словам Кокинга, он познакомился с коллегой по группе Ником Кокингом более 10 лет назад, еще будучи студентом университета. Вскоре после этого Дарлинг присоединился к ирландской фолк-группе Кокинга, Ceili House Band, и их первое совместное выступление состоялось в апреле 2014 года. Дарлинг, который присоединился к группе в качестве вокалиста и гитариста, «поднял уровень мастерства музыкантов», — говорит Кокинг.
Но несколько лет назад Кокинг и другие участники его группы начали замечать изменения в Дарлинге. Он стал неуклюжим, говорит Кокинг. Он вспоминает один вечер, когда группе пришлось идти через весь Кардифф под дождем: «Он постоянно поскальзывался и падал, спотыкался о тротуарные плиты и тому подобное».
В то время он не придал этому особого значения, но симптомы Дарлинга продолжали ухудшаться. Болезнь сначала поразила его ноги, а в августе 2023 года ему стало необходимо сидеть во время выступлений. Затем он начал терять подвижность рук. «В конце концов, он больше не мог играть на гитаре или банджо», — говорит Кокинг.
К апрелю 2024 года Дарлингу стало трудно одновременно говорить и дышать, говорит Кокинг. Для того выступления группа вынесла Дарлинга на сцену на руках. «Он позвонил мне на следующий день и сказал, что больше не может», — говорит Кокинг, его голос дрожит. «К июню 2024 года все было кончено». Это было последнее совместное выступление группы.
Воссоздание голоса
Дарлинга связали с логопедом, который предложил возможность «сохранения» его голоса. Люди, теряющие способность говорить, могут записывать свою речь и использовать эти записи для создания звуков речи, которые затем можно активировать с помощью набранного текста, будь то от руки или с помощью устройства, управляемого движениями глаз.
Связанная статья
Женщина заставила свой голосовой клон, созданный с помощью ИИ, произнести слово «задница». После этого её забанили. Читайте далее.
Некоторым пользователям эти инструменты показались звучащими как роботы. Но у Дарлинга была другая проблема. «К тому моменту мой голос уже изменился», — сказал он на мероприятии. «Было ощущение, что мы сохраняем не тот голос».
Затем другой логопед познакомил его с другой технологией. Ричард Кейв — логопед и исследователь из Университетского колледжа Лондона. Он также является консультантом компании ElevenLabs, занимающейся разработкой искусственного интеллекта и созданием агентов, а также инструментов для работы с аудио, речью, видео и музыкой. Один из таких инструментов может создавать «голосовые клоны» — реалистичные имитации реальных голосов, которые можно генерировать из нескольких минут или даже секунд записанного голоса человека.
В прошлом году компания ElevenLabs запустила программу поддержки, пообещав предоставить бесплатные лицензии на эти инструменты людям, потерявшим голос из-за БАС или других заболеваний, таких как рак головы и шеи или инсульт.
Этот инструмент уже помогает некоторым пользователям. «Мы не улучшаем скорость их общения или все физические трудности, с которыми сталкиваются люди с БАС, такие как еда и дыхание», — говорит Габи Лейбовиц, логопед, возглавляющая программу. «Но мы даем им возможность… снова творить, процветать». Пользователи могут дольше оставаться на своих рабочих местах и «продолжать делать то, что заставляет их чувствовать себя людьми», — говорит она.
Кейв работал с Дарлингом над использованием этого инструмента для восстановления утраченного голоса по старым записям.
«Когда я впервые услышал этот голос, я подумал, что он потрясающий», — сказал Дарлинг на мероприятии, используя голосовой клон. «Он звучал точно так же, как и раньше, и вы буквально не смогли бы отличить его от оригинала», — сказал он. «Я не буду говорить, какое первое слово произнес мой новый голос, но могу сказать, что оно начиналось с буквы „ф“ и заканчивалось на „к“».
Предоставлено Патриком ДарлингомВоссоздать его певческий голос оказалось не так-то просто. Обычно для создания клона инструменту требуется около 10 минут чистого аудио. «У меня не было высококачественных записей моего пения», — сказал Дарлинг. «Нам пришлось использовать аудио из видео на телефонах людей, снятых в шумных пабах, и пару записей моего пения на кухне». Тем не менее, этих фрагментов было достаточно, чтобы создать «синтетическую версию [певческого голоса Дарлинга]», — говорит Кейв.
На записях голос Дарлинга звучал немного хрипловато и «немного фальшивил» на некоторых нотах, говорит Кейв. Голосовой клон обладает теми же качествами. Он не звучит идеально, говорит Кейв, — он звучит по-человечески.
«Созданная нами в ElevenLabs „голосовая концепция“ великолепна», — сказала Дарлинг на мероприятии. «Она определенно звучит как я — [она] просто ощущается как другая версия меня».
Компания ElevenLabs также разработала генератор музыки на основе искусственного интеллекта под названием Eleven Music. Инструмент позволяет пользователям создавать треки, используя текстовые подсказки для выбора музыкального стиля. Несколько известных артистов также сотрудничают с компанией, лицензируя клоны своих голосов, созданные с помощью ИИ, в том числе актер Майкл Кейн, чей голосовой клон используется для озвучивания предстоящего документального фильма ElevenLabs. В прошлом месяце компания выпустила альбом из 11 треков, созданных с помощью этого инструмента. «Трек Лайзы Миннелли — это настоящий хит», — говорит Кейв.
Eleven Music может сгенерировать песню за минуту, но Дарлинг и Кейв потратили около шести недель на доработку песни Дарлинг. Используя текстовые подсказки, любой пользователь может «создавать музыку и добавлять текст в любом стиле, который ему нравится», — говорит Кейв. Дарлинг любит ирландскую народную музыку, но Кейв также работал с человеком из Колумбии, который создает колумбийскую народную музыку. (Инструмент ElevenLabs в настоящее время доступен на 74 языках.)
Снова на сцене
В прошлом месяце Кокингу позвонил Кейв и прислал ему готовую запись Дарлинга. «Я услышал первые два-три слова, которые он спел, и мне пришлось выключить запись, — говорит он. — Я был просто разбит, в слезах. Мне потребовалось раз шесть, чтобы дослушать запись до конца».
Дарлинг и Кейв планировали исполнить эту композицию вживую на саммите ElevenLabs в Лондоне в среду, 11 февраля. Поэтому Кокинг и его коллега по группе Хари Ма подготовили для каждого из них партию аккомпанемента на мандолине и скрипке. У них было несколько недель на репетиции, прежде чем они присоединятся к Дарлинг на сцене, спустя два года после их последнего совместного выступления.
«Я вывез его на сцену, и ни я, ни он не могли поверить своим глазам», — говорит Кейв. «Он был в восторге». Песня исполнялась, пока Дарлинг оставался на сцене, а Кокинг и Ма играли на своих инструментах вживую.
Кокинг и Кейв говорят, что Дарлинг планирует и дальше использовать эти инструменты для создания музыки. Кокинг говорит, что надеется снова выступить с Дарлингом, но признает, что, учитывая особенности БАС, строить долгосрочные планы сложно.
«Это так трогательно, — говорит Кокинг. — Но, поднявшись на сцену и увидев там Патрика, я испытала невероятную радость. Я знаю, что Патрику тоже очень понравилось. Мы говорили об этом… Он был очень-очень горд».
Источник: www.technologyreview.com
