Гален Бакволтер утверждает, что для успеха технологии интерфейсы «мозг-компьютер» должны быть приятными в использовании.
Гэлен Бакволтер, которому имплантировали мозговой протез, и его жена Дебора играют вместе в панк-группе Siggy из Лос-Анджелеса. Фото предоставлено компанией Blackrock Neurotech. Загрузить Сохранить эту историю Загрузить Сохранить эту историю
Гален Бакволтер без колебаний согласился на краниотомию в 2024 году в рамках исследования по имплантации мозговых имплантатов в Калифорнийском технологическом институте. 69-летний психолог-исследователь хотел внести свой вклад в передовые научные исследования, которые могли бы помочь другим людям с параличом.
Бакволтер парализован с тех пор, как в 16 лет получил травму во время ныряния, в результате которой был парализован ниже груди. Шесть чипов в его мозге, изготовленных компанией Blackrock Neurotech, считывают активность нейронов и расшифровывают намерения движений. Они позволяют ему управлять компьютером с помощью мыслей, чувствовать утраченную чувствительность в пальцах и, совсем недавно, создавать музыку силой мысли.
Технология, известная как интерфейс «мозг-компьютер» (BCI), разрабатывается компаниями Paradromics, Synchron, Neuralink Илона Маска и другими для восстановления коммуникации и движений у людей с тяжелыми двигательными нарушениями. Но опыт Баквальтера показывает, что эту технологию можно использовать не только в функциональных целях — например, для творческого самовыражения. Другие пользователи BCI используют свои имплантаты для создания цифрового искусства с помощью своих мыслей. На выставке 2023 года в галерее Американской ассоциации содействия развитию науки в Вашингтоне были представлены работы пользователей BCI Натана Коупленда, Джеймса Джонсона и Яна Шеуэрмана.
Бакволтер работает с аспирантом Калифорнийского технологического института Шоном Дарси, который разработал алгоритм, позволяющий ему создавать музыкальные звуки на компьютере с помощью своих мыслей. Бакволтер, давний музыкант лос-анджелесской панк-рок-группы Siggy, использовал некоторые из звуков, которые он сочинил в лаборатории, в песне под названием «Wirehead», также названной в честь последнего альбома группы, вышедшего 15 марта.
Журнал WIRED поговорил с Бакволтером о том, каково это — создавать музыку силой мысли. Интервью отредактировано для сокращения и большей ясности.
WIRED: Вы недавно начали использовать свой имплант для воспроизведения музыкальных звуков. Как это произошло?
Гален Баквальтер: Еще до имплантации я увидел на YouTube видеоролик с грибами, где, если прикрепить к грибам электроды, происходит биосонификация. Это усиливает электрическую активность в грибе, и получаются очень крутые звуки. Я увидел это и подумал: если гриб может так чирикать, я хочу узнать, как звучит мой мозг. Это было в моих планах, и я хотел заняться этим вместе с командой из Калтеха. С самого первого дня я говорил об этом со всеми исследователями, и этот замечательный аспирант, Шон Дарси, узнал об этом. Он проводил выходные и ночи, разрабатывая программное обеспечение, которое переводит мои мысли в возможность манипулировать тонами.
То есть вы способны создавать музыкальные звуки просто посредством мысли. Как это работает?
У каждого нейрона есть базовая частота активации. Все эти нейроны в той или иной степени активны, но мы идентифицируем нейроны, которыми я могу управлять произвольно. Каждый из моих шести имплантатов имеет 64 независимых канала для записи, и у нас есть большой экран со всеми 384 каналами. Таким образом, если я подумаю о движении пальца ноги вверх и вниз, загорится множество каналов. Похоже, что существует направленная группа нейронов, которые улавливаются просто при разгибании и сгибании моего пальца ноги.
Шон задает тон базовой частоте активации нейронов. Если я активирую этот нейрон, высота звука повысится, а если подавлю его, то понизится. Я думаю о движении указательного пальца, затем о движении мизинца, и я могу делать это для такого количества каналов, над которыми у меня есть волевой контроль. Сейчас я могу воспроизводить два тона одновременно, но если превысить это значение, возникает ощущение, будто вы одновременно потираете голову и похлопываете себя по животу.
Вы имеете в виду конкретную часть произведения, и каждой из этих частей присвоен свой тон?
Ага.
Ух ты. И прямо сейчас вы способны извлечь два звука одновременно, думая одновременно о двух разных движениях?
Да. Если добавить еще, то получится немного диссонансно. Но мы над этим работаем. Думаю, это вполне возможно. В конечном итоге, я считаю, что у меня в голове может появиться полноценная диджейская стойка. Мы начинаем создавать лупы, чтобы я мог запускать хорошие ритмические петли, а затем накладывать на них мелодии.
Шон также придумал что-то вроде клавиатуры, так что звук будет воспроизводиться только при превышении определенного порога, а если я его снижу, он прозвучит. Это начинает напоминать игру на музыкальном инструменте.
Требует ли это высокой концентрации внимания?
Да, по крайней мере, для обучения. В разные дни каналы могут обнаруживать активность разных нейронов. Иногда канал 54 может быть нашим основным нейроном, а иногда это просто не работает. Нам нужно найти нейроны, которые активны в этот день, и понять, что нужно сделать, чтобы их активировать. А потом уже действовать дальше.
Расскажите подробнее о том, как работает виртуальная клавиатура.
В первую очередь я думаю о движении, но мне нужно лишь немного увеличить амплитуду движения, чтобы получить нужный звук. Я могу думать о движении указательного пальца, затем о среднем пальце, активировать разные нейроны и заставить их издавать нужный звук, но для подавления этого требуется более целенаправленное усилие. Удивительно, что мы можем контролировать отдельные нейроны в нашем мозге. Я не знаю, каковы долгосрочные последствия этого, но меня действительно поражает, что мы можем это делать.
Музыка всегда была для вас важна?
У меня есть панк-группа, Siggy. Мы вместе уже 29 лет. Это огромная часть моей жизни — собираться вместе, творить и время от времени давать концерты. Мы даже использовали один из треков, которые я создал с помощью своих нейронных сигналов, для песни под названием «Wirehead», которая представляет собой своего рода панк-размышление о возможностях интерфейсов мозг-компьютер и обо всем этом хорошем.
Меня несколько расстраивает академический подход к интерфейсам мозг-компьютер, который не всегда учитывает интересы участников. Исследователи проводят свои эксперименты и не задаются вопросом: «Как мы можем помочь вам сделать вашу жизнь интереснее?» Сообщество должно это учитывать, если эта технология действительно хочет развиваться. Это сделает технологию более приятной для людей, которые ею пользуются.
Я думаю, нам обязательно нужно изучить, как использовать это для развития творчества. Реставрация, да, это в первую очередь. Но мы гораздо больше, чем просто двигаемся и ощущаем. Я думаю, именно поэтому так важно не только учитывать субъективный опыт, но и направлять исследования.
В головном мозге Бакволтера установлены шесть нейросетевых имплантатов производства Blackrock Neurotech, разработанных в штате Юта. (
Фото предоставлено компанией Blackrock Neurotech)И вы предложили этот исследовательский проект Калтехскому технологическому институту?
Изначально это предложил я, но Шон подхватил эту идею и развил её. То, что мы делаем, намного сложнее, чем я себе представлял. Это как если бы у меня в голове был оркестр, и мне просто нужно научиться в него играть.
Как только вы начали создавать эти звуки, вам сразу же захотелось включить их в музыку вашей группы?
Как только мы начали экспериментировать, и я понял, на что способен, мы оба сказали: «О да, нам нужно это записать». Теперь мы хотим посмотреть, чего мы можем добиться, используя только нейронную музыку. Это движется в сторону диджейской установки, где он, по сути, вращает ручки, модулируя звуки, которые я создаю. Это новая музыка.
Что думали ваши коллеги по группе?
Все были готовы.
Каково было впервые услышать эти звуки вслух?
Когда меня впервые подключили после операции, там был огромный экран со всеми 384 каналами. Просто смотреть на свой мозг, на работу нейронов, а затем начинать делать разные вещи и видеть, что ты можешь контролировать эту работу, честное слово, я испытал такое чувство благоговения. Это совершенно новая территория. Это было так круто. А потом, услышав звуки впервые, я почувствовал нечто подобное. Со звуками тот факт, что я ими управляю, стал гораздо очевиднее. Когда я думаю о том, чтобы пошевелить пальцем ноги, и вдруг появляется какая-то мелодия, это просто ух ты. Это просто умопомрачительно. Это так здорово. После таких сеансов у меня такое чувство, будто я долго играл со своей группой. Ты просто погружаешься в состояние творческого потока.
Ваша следующая цель — сочинить полноценную песню, которая будет рождаться прямо в вашей голове?
Мы уже экспериментируем с этим. И не остановимся, пока не доберемся до сферы.
Я хотел бы вернуться к вашему предыдущему замечанию о том, что в исследованиях интерфейсов мозг-компьютер следует уделять приоритетное внимание потребностям и предпочтениям пациентов. Почему, по вашему мнению, креативность является таким важным компонентом, который разработчикам следует учитывать?
Я буду парализован до конца своих дней. Я это знаю. Но то, что это может расширить мои творческие возможности и дать мне другой способ самовыражения, это потрясающе. Возможность делать совершенно уникальные вещи невероятно вдохновляет. Именно это заставляет людей вставать с постели по утрам. Сам факт того, что это приносит мне столько удовлетворения и мотивации, должен заставить разработчиков понять, что для того, чтобы эта технология действительно преуспела, люди должны её полюбить. Они должны полюбить сам процесс её использования.
Источник: www.wired.com
