От программирования до разработки аппаратного обеспечения, степени магистра права ускоряют прогресс исследований в области искусственного интеллекта. Это, возможно, самый важный тренд в области искусственного интеллекта сегодня.
На прошлой неделе Марк Цукерберг заявил, что Meta стремится создать искусственный интеллект, превосходящий человеческий. Похоже, у него есть рецепт достижения этой цели, и первый ингредиент — человеческий талант: по сообщениям, Цукерберг пытался привлечь ведущих исследователей в Meta Superintelligence Labs девятизначными гонорарами. Второй ингредиент — сам искусственный интеллект. Недавно в ходе телефонной конференции, посвящённой финансовым результатам, Цукерберг заявил, что Meta Superintelligence Labs будет сосредоточена на создании самосовершенствующегося искусственного интеллекта — систем, способных самостоятельно достигать всё более высоких уровней производительности.
Возможность самосовершенствования отличает ИИ от других революционных технологий. CRISPR не может улучшить собственную точность нацеливания последовательностей ДНК, а термоядерные реакторы не способны сделать эту технологию коммерчески жизнеспособной. Но LLM могут оптимизировать компьютерные чипы, на которых они работают, обучать других LLM недорого и эффективно и, возможно, даже предлагать оригинальные идеи для исследований в области ИИ. И они уже добились определённого прогресса во всех этих областях.
По словам Цукерберга, самосовершенствование ИИ может привести к миру, в котором люди будут освобождены от рутины повседневной работы и смогут достигать своих самых высоких целей при поддержке блестящих, гиперэффективных искусственных помощников. Однако, по словам Криса Пейнтера, директора по политике некоммерческой организации METR, занимающейся исследованиями ИИ, самосовершенствование также создаёт фундаментальный риск. По его словам, если ИИ ускорит развитие своих возможностей, он сможет быстро совершенствоваться в хакерстве, разработке оружия и манипулировании людьми. Некоторые исследователи даже предполагают, что этот цикл положительной обратной связи может привести к «взрыву интеллекта», в ходе которого ИИ стремительно выйдет далеко за пределы человеческих возможностей.
Но не обязательно быть пессимистом, чтобы всерьёз воспринимать последствия самосовершенствующегося ИИ. OpenAI, Anthropic и Google включают в свои концепции безопасности ИИ ссылки на исследования в области автоматизированного ИИ, наряду с более привычными категориями рисков, такими как химическое оружие и кибербезопасность. «Я думаю, это самый быстрый путь к мощному ИИ», — говорит Джефф Клун, профессор компьютерных наук в Университете Британской Колумбии и старший научный консультант Google DeepMind. «Это, пожалуй, самое важное, о чём нам следует думать».
Связанная история
Человечество изо всех сил пыталось создать по-настоящему разумные машины. Возможно, нам стоит позволить им самим это сделать.
Клун также утверждает, что автоматизация исследований и разработок в области ИИ может иметь огромные преимущества. В одиночку мы, люди, возможно, не сможем придумать инновации и усовершенствования, которые позволят ИИ однажды справиться с такими колоссальными проблемами, как рак и изменение климата.
На данный момент человеческая изобретательность по-прежнему остаётся основным двигателем развития ИИ; в противном случае Meta вряд ли бы предлагала столь заоблачные суммы для привлечения исследователей в свою лабораторию суперинтеллекта. Однако ИИ уже вносит свой вклад в собственное развитие, и в ближайшие годы его роль будет ещё более значима. Вот пять способов, которыми ИИ совершенствует себя.
1. Повышение производительности
Сегодня самый важный вклад, который вносят LLM в разработку ИИ, возможно, одновременно и самый банальный. «Самое главное — это помощь в написании кода», — говорит Том Дэвидсон, старший научный сотрудник Forethought, некоммерческой организации, занимающейся исследованиями в области ИИ. Инструменты, помогающие инженерам быстрее писать программное обеспечение, такие как Claude Code и Cursor, по всей видимости, пользуются популярностью в индустрии ИИ: генеральный директор Google Сундар Пичаи заявил в октябре 2024 года, что четверть нового кода компании сгенерирована ИИ, а компания Anthropic недавно задокументировала множество способов использования Claude Code её сотрудниками. Если инженеры станут продуктивнее благодаря такой помощи в написании кода, они смогут быстрее проектировать, тестировать и развертывать новые системы ИИ.
Однако преимущество в производительности, которое дают эти инструменты, остаётся неясным: если инженеры тратят много времени на исправление ошибок, допущенных системами ИИ, они могут не выполнять больше работы, даже если тратят меньше времени на написание кода вручную. Недавнее исследование METR показало, что разработчикам требуется примерно на 20% больше времени на выполнение задач при использовании ИИ-помощников, хотя Нейт Раш, технический специалист METR, соруководивший исследование, отмечает, что в нём участвовали только очень опытные разработчики, работающие с большими базами кода. Выводы исследования могут быть неприменимы к исследователям ИИ, которые пишут быстрые скрипты для проведения экспериментов.
По словам Раша, проведение аналогичного исследования в передовых лабораториях могло бы помочь получить гораздо более чёткое представление о том, повышают ли помощники по программированию производительность исследователей ИИ, работающих на переднем крае, но эта работа пока не проводилась. Между тем, недостаточно просто верить инженерам-программистам на слово: разработчики, участвовавшие в исследовании METR, считали, что инструменты программирования ИИ повысили их эффективность, хотя на самом деле они значительно замедлили их работу.
2. Оптимизация инфраструктуры
Быстрое написание кода не так уж и важно, если приходится ждать его запуска часами, днями или неделями. Обучение на степень магистра права (LLM), в частности, — мучительно медленный процесс, и даже самые сложные модели рассуждений могут генерировать один ответ за несколько минут. Эти задержки — серьёзное препятствие для разработки ИИ, считает Азалия Мирхосейни, доцент кафедры компьютерных наук Стэнфордского университета и старший научный сотрудник Google DeepMind. «Если мы сможем запускать ИИ быстрее, мы сможем создавать больше инноваций», — говорит она.
Именно поэтому Мирхосейни использует ИИ для оптимизации ИИ-чипов. В 2021 году она и её коллеги из Google создали систему ИИ, не требующую степени магистра права, которая могла определять, где разместить различные компоненты на компьютерном чипе для оптимизации эффективности. Хотя эта работа вызвала скептицизм в сообществе разработчиков чипов, Мирхосейни утверждает, что журнал Nature изучил статью и подтвердил её обоснованность. Она также отмечает, что Google использовала разработки этой системы для нескольких поколений своих специализированных ИИ-чипов.
Недавно Мирхосейни применила LLM к задаче написания ядер — низкоуровневых функций, управляющих выполнением различных операций, таких как умножение матриц, в микросхемах. Она обнаружила, что даже универсальные LLM в некоторых случаях могут писать ядра, работающие быстрее, чем версии, разработанные человеком.
В другом подразделении Google учёные разработали систему, которую использовали для оптимизации различных компонентов инфраструктуры LLM компании. Система AlphaEvolve предлагает системе Gemini LLM от Google написать алгоритмы для решения определённой задачи, оценивает эти алгоритмы и просит Gemini улучшить наиболее эффективный из них, повторяя этот процесс несколько раз. AlphaEvolve разработала новый подход к управлению центрами обработки данных, который позволил сэкономить 0,7% вычислительных ресурсов Google, внесла дальнейшие улучшения в конструкцию специализированного чипа Google и создала новое ядро, которое ускорило обучение Gemini на 1%.
Это может показаться небольшим улучшением, но для такой огромной компании, как Google, это означает колоссальную экономию времени, денег и энергии. Матей Балог, штатный научный сотрудник Google DeepMind, возглавлявший проект AlphaEvolve, говорит, что он и его команда протестировали систему лишь на небольшом компоненте всего учебного процесса Gemini. Более широкое применение, по его словам, может привести к большей экономии.
3. Автоматизация обучения
Известно, что LLM-программисты жадны до данных, и их обучение требует больших затрат на каждом этапе. В некоторых областях, например, в нестандартных языках программирования, реальных данных слишком мало для эффективного обучения LLM. Обучение с подкреплением и обратной связью от человека — метод, при котором люди оценивают ответы LLM на подсказки, а затем LLM обучаются, используя эти оценки, — сыграло ключевую роль в создании моделей, поведение которых соответствует человеческим стандартам и предпочтениям. Однако получение обратной связи от человека — процесс медленный и дорогостоящий.
Всё чаще для заполнения пробелов привлекают магистров права (LLM). При наличии достаточного количества примеров магистры права (LLM) могут генерировать правдоподобные синтетические данные в областях, в которых они не были обучены, и эти синтетические данные затем можно использовать для обучения. LLM также могут эффективно использоваться для обучения с подкреплением: в подходе, называемом «магистр права как судья», именно магистр права, а не люди, оценивают результаты обучаемых моделей. Этот подход является ключевым для влиятельной концепции «конституционного ИИ», предложенной исследователями антропологического направления в 2022 году, в рамках которой один магистр права обучается наносить меньший вред, основываясь на обратной связи от другого магистр права.
Дефицит данных — особенно острая проблема для агентов ИИ. Эффективные агенты должны уметь реализовывать многошаговые планы для выполнения конкретных задач, но примеров успешного пошагового выполнения задач в интернете мало, а использование людей для создания новых примеров было бы слишком затратным. Чтобы преодолеть это ограничение, Мирхосейни из Стэнфорда и её коллеги недавно опробовали методику, в которой агент LLM генерирует возможный пошаговый подход к решению заданной проблемы, эксперт LLM оценивает обоснованность каждого шага, а затем новый агент LLM обучается этим шагам. «Вы больше не ограничены данными, потому что модель может произвольно генерировать всё больше и больше опыта», — говорит Мирхосейни.
4. Разработка усовершенствованного агента
Одна из областей, в которую LLM пока не внесли существенного вклада, — это разработка самих LLM. Все современные LLM основаны на нейронной сетевой структуре, называемой «трансформером», которая была предложена исследователями в 2017 году, и значительные улучшения, внесенные с тех пор в архитектуру, также были разработаны людьми.
Но появление агентов LLM создало совершенно новую вселенную дизайна для исследования. Агентам нужны инструменты для взаимодействия с внешним миром и инструкции по их использованию, и оптимизация этих инструментов и инструкций крайне важна для создания эффективных агентов. «Люди не тратили столько времени на разработку всех этих идей, поэтому сейчас гораздо больше лёгких вариантов», — говорит Клуне. «Проще просто создать систему ИИ, которая будет её собирать».
Совместно с исследователями стартапа Sakana AI Клун создал систему под названием «Машина Дарвина-Гёделя»: агент LLM, способный итеративно изменять свои подсказки, инструменты и другие аспекты кода для повышения эффективности выполнения задач. Машина Дарвина-Гёделя не только достигла более высоких результатов за счёт самосовершенствования, но и по мере своего развития нашла новые модификации, которые её исходная версия обнаружить не смогла бы. Она вошла в настоящий цикл самосовершенствования.
5. Развитие исследований
Хотя программы магистратуры по праву (LLM) ускоряют многие этапы разработки программ, люди могут ещё долго оставаться неотъемлемой частью исследований в области ИИ. Многие эксперты отмечают «исследовательский вкус», или способность лучших учёных выбирать перспективные новые темы и направления исследований, как особую сложность для ИИ и ключевой фактор в его разработке.
Но Клуне утверждает, что исследовательский вкус может быть не такой уж большой проблемой для ИИ, как думают некоторые исследователи. Он и исследователи ИИ из Саканы работают над сквозной системой для исследований ИИ, которую они называют «ИИ-ученый». Система просматривает научную литературу, чтобы определить свой исследовательский вопрос, проводит эксперименты для ответа на него, а затем записывает результаты.
Одна из статей, написанная им ранее в этом году, в которой была разработана и протестирована новая стратегия обучения, призванная улучшить комбинирование примеров из обучающих данных нейронными сетями, была анонимно представлена на семинар Международной конференции по машинному обучению (ICML) — одной из самых престижных конференций в этой области — с согласия организаторов семинара. Стратегия обучения в итоге не сработала, но статья получила достаточно высокую оценку рецензентов, чтобы претендовать на её принятие (стоит отметить, что на семинарах ICML требования к принятию статей ниже, чем на основной конференции). В другом случае, по словам Клуна, ученый по искусственному интеллекту предложил исследовательскую идею, которая впоследствии была независимо предложена исследователем-человеком в рамках проекта X, где она вызвала большой интерес у других учёных.
«Сейчас мы наблюдаем момент GPT-1 для учёных в области искусственного интеллекта», — говорит Клун. «Через несколько лет они будут писать статьи, которые будут приниматься на ведущих рецензируемых конференциях и в ведущих журналах мира. Они будут совершать новые научные открытия».
Скоро ли появится сверхразум?
Учитывая весь этот энтузиазм по поводу самосовершенствования ИИ, вполне вероятно, что в ближайшие месяцы и годы вклад ИИ в собственное развитие будет только увеличиваться. По словам Марка Цукерберга, это может означать, что сверхразумные модели, превосходящие человеческие возможности во многих областях, уже не за горами. Однако в реальности влияние самосовершенствования ИИ далеко не однозначно.
Примечательно, что AlphaEvolve ускорила обучение своей основной системы LLM, Gemini, но это ускорение на 1% может не оказать заметного влияния на темпы развития ИИ-технологий Google. «Это всё ещё очень медленный цикл обратной связи», — говорит Балог, исследователь AlphaEvolve. «Обучение Gemini занимает значительное время. Так что, возможно, вы уже видите захватывающее начало этого благотворного [цикла], но это всё ещё очень медленный процесс».
Если каждая последующая версия «Джемини» будет ускорять своё обучение ещё на 1%, это ускорение будет накапливаться. И поскольку каждое последующее поколение будет превосходить предыдущее, оно должно быть способно достичь ещё большего ускорения обучения, не говоря уже обо всех других способах, которые оно может придумать для самосовершенствования. При таких обстоятельствах, утверждают сторонники сверхразума, окончательный взрыв интеллекта выглядит неизбежным.
Однако этот вывод игнорирует ключевое наблюдение: инновации со временем становятся сложнее. На заре развития любой научной области открытия совершаются быстро и легко. Существует множество очевидных экспериментов и идей для исследования, и ни одна из них ранее не была опробована. Но по мере развития науки глубокого обучения каждое дополнительное улучшение может потребовать значительно больших усилий как со стороны людей, так и со стороны их партнеров в виде искусственного интеллекта. Вполне возможно, что к тому времени, как системы искусственного интеллекта достигнут уровня человека в исследовательской деятельности, люди или менее интеллектуальные системы искусственного интеллекта уже сорвут все доступные плоды.
Таким образом, определение реального влияния самосовершенствования ИИ на мир — сложная задача. Ситуацию усугубляет тот факт, что системы ИИ, наиболее важные для разработки ИИ (те, что используются внутри передовых компаний в этой области), вероятно, более продвинуты, чем те, которые уже доступны широкой публике, поэтому оценка возможностей o3 может быть не лучшим способом оценить, что происходит внутри OpenAI.
Но внешние исследователи делают всё возможное, например, отслеживая общие темпы развития ИИ, чтобы определить, ускоряются ли они. METR отслеживает развитие возможностей ИИ, измеряя время, необходимое людям для выполнения задач, которые передовые системы могут выполнить самостоятельно. Они обнаружили, что с момента выпуска GPT-2 в 2019 году продолжительность задач, которые системы ИИ могут выполнить самостоятельно, удваивалась каждые семь месяцев.
С 2024 года этот период удвоения сократился до четырёх месяцев, что говорит о том, что прогресс в области ИИ действительно ускоряется. Причины могут быть не самыми очевидными: лаборатории Frontier AI переполнены инвестиционными средствами, которые они могут потратить на привлечение новых исследователей и закупку нового оборудования. Однако вполне вероятно, что самосовершенствование ИИ также может играть свою роль.
Это лишь одно косвенное доказательство. Но Дэвидсон, исследователь из Forethought, говорит, что есть веские основания ожидать, что ИИ ускорит собственное развитие, по крайней мере, на какое-то время. Работа METR предполагает, что эффект «легко висящей мишени» сегодня не замедляет исследователей-людей, или, по крайней мере, увеличение инвестиций эффективно компенсирует любое замедление. Если ИИ заметно повысит производительность этих исследователей или даже возьмёт на себя часть исследовательской работы, баланс сместится в пользу ускорения исследований.
«Я думаю, можно было бы с уверенностью ожидать, что наступит период ускорения развития ИИ, — говорит Дэвидсон. — Главный вопрос в том, как долго это продлится».
Источник: www.technologyreview.com
