Мариано Сальседо '25, магистрант новой программы подготовки специалистов в области музыкальных технологий и вычислительной техники, разрабатывает искусственный интеллект для визуализации и выражения музыки и других звуков. 
Мариано Сальседо — студент новой магистерской программы по музыкальным технологиям и вычислительной технике. «MIT научил меня учиться», — говорит он. Фото: Хэнли Валентин 
Сальседо использует разработанный им инструмент моделирования для наблюдения за реакцией нейронных клеточных автоматов (НКА) на звук в реальном времени. Инструмент изменяет внутренние параметры автомата, чтобы изучить его визуальную реакцию на звук. Фото: Хэнли Валентин
Мариано Сальседо, выпускник 2025 года, один из первых студентов новой магистерской программы MIT по музыкальным технологиям и вычислительной технике, исследует взаимосвязь между искусственным интеллектом и музыкальными визуальными образами.
В частности, его диссертационные исследования сосредоточены на нейронных клеточных автоматах (NCA), которые объединяют классические клеточные автоматы с методами машинного обучения для создания изображений, способных к регенерации.
В сочетании с таким стимулом, как музыка, эти изображения могут «показывать» звуки в действии.
«Этот подход позволяет любому создавать визуальные эффекты на основе музыки, используя выразительную и порой непредсказуемую динамику самоорганизующихся систем», — говорит Сальседо. С помощью разработанного Сальседо веб-интерфейса пользователи могут регулировать соотношение между энергией музыки и системой NCA для создания уникальных визуальных представлений с использованием любого музыкального аудиопотока.
Воспроизвести видео
«Я хочу, чтобы визуальные эффекты дополняли и улучшали впечатления от прослушивания», — говорит он.
В прошлом году Сальседо, стипендиат Алекса Ригопулоса (1992) в области музыкальных технологий и вычислительной техники, получил степень бакалавра наук в области искусственного интеллекта и принятия решений в Массачусетском технологическом институте, где он изучал обработку сигналов в машинном обучении и то, как классическое понимание сигналов может повлиять на наше понимание ИИ. Сейчас он один из пяти магистрантов в первом наборе аспирантской программы по музыкальным технологиям и вычислительной технике.
Программа, возглавляемая профессором-практиком в области музыкальных технологий Эраном Эгози (выпуск 1993 г., магистр музыкального и технологического инжиниринга 1995 г.), является результатом сотрудничества между факультетом музыки и театрального искусства Массачусетского технологического института (MIT) в Школе гуманитарных, художественных и социальных наук и Инженерной школой. Она приглашает специалистов-практиков изучать, открывать и разрабатывать новые вычислительные подходы к музыке. Программа также включает в себя серию лекций, которые знакомят студентов и более широкое сообщество MIT с профессионалами музыкальной индустрии, артистами, технологами и другими исследователями.
Ригопулос (выпуск 1992, магистр 1994) — разработчик видеоигр, музыкант и бывший генеральный директор Harmonix Music Systems, компании, которую он основал вместе с Эгози в 1995 году. Сейчас Harmonix входит в состав Epic Games, где Ригопулос занимает должность директора по разработке музыкальных игр.
«Именно в MIT я много десятилетий назад впервые смог реализовать свою страсть к музыкальным технологиям, и этот опыт стал трамплином для долгой и плодотворной карьеры», — говорит Ригопулос. «Поэтому, когда MIT запустил программу получения степени магистра в области музыкальных технологий, я был рад профинансировать стипендию, чтобы помочь развитию этой захватывающей новой программы».
Эгози с энтузиазмом отзывается о работе Сальседо и его стремлении к дальнейшему изучению ее возможностей. «Он — прекрасный пример междисциплинарного исследователя, который глубоко размышляет о том, как лучше всего использовать технологии для повышения и расширения человеческого творчества», — говорит он.
Сальседо был выбран для выступления со студенческой речью на церемонии вручения дипломов выпускникам Школы гуманитарных, художественных и социальных наук в 2026 году. «Это большая честь и одновременно волнение», — говорит он. «Это огромная ответственность», — хотя он полон энтузиазма принять её. Его выбор также радует Эгози. «Я очень рад, что Мариано был выбран для выступления с основной речью в этом году», — с энтузиазмом говорит он.
Переключение передач
Выросший в Мексике и Техасе, Мариано Сальседо не мог легко реализовать свою страсть к музыке. «В мексиканских государственных школах нет музыкальных коллективов», — говорит он. Хотя некоторые семьи могли позволить себе оплатить инструменты и уроки, другим, таким как семья Сальседо, повезло меньше.
«Я всегда любил музыку, — продолжает он. — Я был слушателем».
Сальседо начал свой путь в MIT в качестве студента факультета машиностроения, подав заявку через программу Questbridge. «Я слышал, что если вам нравятся инженерные и научные дисциплины, то обучение в MIT будет отличным выбором», — вспоминает он. «Здесь приветствуют и принимают ботаников». Пока он добросовестно работал над завершением своей программы по машиностроению, музыка и технологии привлекли его внимание после случайной встречи с программой магистратуры в области права.
«Меня познакомили с чат-ботом для студентов магистратуры, и я был потрясен», — вспоминает он. «Это было что-то, что меня зацепило. Я был одновременно поражен и напуган». После встречи с чат-ботом Сальседо сменил специальность с машиностроения на искусственный интеллект и принятие решений.
«По сути, я начал все заново, пройдя две трети учебной программы по машиностроению», — говорит он. Он узнал о возможностях, которые открывает искусственный интеллект, но также столкнулся с некоторыми проблемами, которые преследуют исследователей и разработчиков, включая его потенциальную мощь, обеспечение ответственного использования, человеческую предвзятость, ограниченный доступ для людей из недостаточно представленных групп и отсутствие разнообразия среди разработчиков. Он решил, что, возможно, сможет изменить эту ситуацию.
«Я подумал, что еще один человек в этой области мог бы изменить ситуацию», — говорит он.
Во время учебы в университете у Сальседо вновь вспыхнула любовь к музыке. «Я начал диджеить в Массачусетском технологическом институте и меня это затянуло», — говорит он. Хотя он не учился играть на традиционных инструментах, он обнаружил, что может создавать захватывающие звуковые ландшафты с помощью технологий. «Я купил цифровую аудиостанцию, чтобы помочь мне создавать музыку», — продолжает он.
Эгози и Сальседо познакомились в 2024 году, когда Сальседо проходил стажировку в рамках программы поддержки студентов-исследователей в качестве разработчика игр в лаборатории Эгози. «Он был невероятно любознателен и за очень короткий период времени значительно вырос», — говорит Эгози. Эгози стал для Сальседо неофициальным, но важным наставником. «Он вкладывает огромную энергию и вдумчивость в свою работу, а также в поддержку других студентов в программе [магистратуры по музыкальным технологиям и вычислительной технике]», — отмечает Эгози.
Сальседо также посещал занятия в Egozy, курс 21M.385/21M.585/6.4450 (Интерактивные музыкальные системы), который еще больше подстегнул его стремление к творчеству и позволил ему в полной мере насладиться возможностями музыки. Благодаря курсам в рамках программы HASS он углубил свои знания в области теории музыки и связанных с ней технологий.
«Я посещал курс профессора Лесли Тиллей, 21M.240 (Критическое мышление в музыке), который помог мне заложить ценную основу для понимания процесса создания музыки, — говорит он, — а такой курс, как 6.3000 (Обработка сигналов), помог мне связать интуицию с наукой».
Работа в междисциплинарных командах
Хотя Сальседо увлечен музыкой и исследованиями, он также стремится к построению отношений со своими однокурсниками. Он является членом братства Sigma Nu, где, по его словам, «нашел дом и сообщество». Летом 2023 года он также совершил поездку в Чили в рамках программы MISTI, где проводил исследования в области музыкальных технологий. Сальседо высоко оценивает культуру товарищества в MIT и благодарен за ее влияние на его работу в качестве ученого. «MIT научил меня учиться», — говорит он.
Профессора поощряли его представить свои исследования и результаты. Он представил свою работу — «Искусственный танцевальный интеллект: нейронные клеточные автоматы для визуального исполнения музыки» — на конференции Ассоциации содействия развитию искусственного интеллекта в Сингапуре в январе 2026 года.
Сальседо считает, что его исследования потенциально могут выйти за рамки визуализации музыки. «Что если бы мы могли улучшить способы моделирования самоорганизующихся систем? — спрашивает он. — То есть систем, таких как многоклеточные организмы, стаи птиц или сообщества, которые взаимодействуют локально, но демонстрируют интересное поведение». Любая система, говорит Сальседо, где целое больше, чем сумма его частей.
Разработка технологии, использованной для создания его приложения, потенциально может помочь ответить на важные этические вопросы, касающиеся дальнейшего развития и роста искусственного интеллекта. Путь к разработке его проекта одновременно сложен и полон трудностей, но эти испытания подпитывают его трудовую этику.
«Выбирать этот путь непросто, учитывая, что сейчас академическая среда сосредоточена на магистерских программах», — говорит он. «Но также важно объяснять и изучать базовые технологии, прежде чем углубляться в более сложные аспекты, что поможет аудитории лучше их понять». Знание того, что его поддерживают профессора, помогает Сальседо сохранять энтузиазм по отношению к своим идеям. «Они просят лишь обосновывать наши интересы исследованиями», — говорит он.
Его исследования влияют на его работу как музыканта. «Моя музыка стала интереснее благодаря занятиям, которые я посещаю», — говорит он. Он также заинтересован в понимании того, чью музыку слышит академическая среда и мир, в изучении предвзятости по отношению к западной музыке в каноне и в поиске способов уменьшения предвзятости, связанной с тем, какие виды музыки ценятся.
«Наша работа как технологов гораздо менее субъективна, чем нам внушают», — считает он.
Сальседо особенно благодарен за поддержку, которую он получил во время учебы в MIT. «Преподаватели программы поощряют разнообразие направлений исследований, — говорит он, — и просят нас продвигать наши индивидуальные цели, а не сосредотачиваться на их целях». За время обучения в аспирантуре он с энтузиазмом отмечает, как часто ему приходилось бросать вызов, чтобы он мог развивать свои идеи.
В конечном итоге, Сальседо хочет, чтобы люди испытали ту радость, которую он чувствует, работая на стыке гуманитарных и естественных наук. Музыка и технологии влияют практически на каждого. Приглашение аудитории в свою лабораторию в качестве участников творческих и исследовательских процессов приносит ему такое же удовлетворение, как и создание отличного бита или решение сложной технической задачи. Помощь аудитории в понимании ценности его работы подпитывает его стремление к успеху.
«Я хочу, чтобы пользователи ощущали движение и полнее изучали звуки и их воздействие», — говорит он.
Источник: news.mit.edu
