На пути к созданию квантового компьютера, который учится на своих ошибках.
Интегрировав обучение с подкреплением с квантовой коррекцией ошибок, мы показали, что квантовый компьютер может непрерывно адаптироваться к дрейфу и оставаться стабильным в течение длительных вычислений.
Быстрые ссылки
- Бумага
- Делиться
Представьте себе симфонический оркестр, исполняющий сложный шедевр. Если бы скрипки расстраивались каждые несколько тактов, ансамблю постоянно приходилось бы останавливаться и настраивать инструменты. К счастью, в оркестре этого не происходит, потому что инструменты надежно остаются настроенными. Однако это нынешняя реальность работы квантового компьютера.
Поскольку квантовые компьютеры по своей сути являются аналоговыми машинами, чувствительными к дрейфу, для поддержания надежной работы требуется постоянная перекалибровка их управляющих параметров, то есть частот, амплитуд и фаз аналоговых сигналов, управляющих кубитами. Сегодня это требует полного завершения всех квантовых вычислений. Такое полное разделение вычислений и калибровки представляет собой фундаментальное узкое место для будущего, поскольку полезные квантовые алгоритмы должны работать непрерывно в течение дней или даже месяцев.
Для решения этой проблемы в статье «Управление квантовой коррекцией ошибок с помощью обучения с подкреплением», опубликованной в журнале Nature , мы продемонстрировали структуру обучения с подкреплением (RL), в которой автономный агент учится на основе обнаружения квантовых ошибок непрерывно управлять тысячами параметров управления, стабилизируя квантовую систему и предотвращая дрейф во время вычислений. Короче говоря: мы нашли способ настраивать инструменты, пока играет музыка.
Работа с квантовыми ошибками
В концертном зале расстроенный инструмент слышен мгновенно. Квантовая область не предоставляет такой роскоши. Как будто сам акт слушания портит исполнение, измерение кубитов приводит к коллапсу их состояний квантовой суперпозиции. Для сохранения квантовой информации мы вместо этого используем квантовую коррекцию ошибок (QEC), метод, который использует избыточность для создания «логических кубитов» из множества физических кубитов и применяет специализированные проверки четности физических кубитов для оцифровки аналогового шума в двоичные события обнаружения ошибок.
К сожалению, эти данные лишь указывают на то, что ошибка произошла где-то в пределах ограниченной пространственно-временной области квантовой схемы, а не на её точное местоположение. Это как услышать фальшивую ноту, не зная точно, какой музыкант её сыграл. Чтобы точно определить вероятные места ошибок и рассчитать необходимые поправки, мы полагаемся на декодеры квантовой коррекции ошибок (QEC), такие как нейронная сеть AlphaQubit (обученная на реальных данных) и алгоритмический декодер Tesseract. Если ошибки достаточно редки, эти декодеры могут успешно восстановить логическую квантовую информацию, анализируя данные об обнаружении ошибок. Однако декодеры оставляют без ответа важный вопрос: почему эти ошибки вообще произошли?
Некоторые ошибки возникают в результате неизбежного взаимодействия квантовой системы с окружающей средой, приводящего к декогеренции. Этот безжалостный процесс разрушает макроскопические квантовые суперпозиции, фактически превращая квантовые компьютеры в классические. Это фундаментальное явление настолько распространено, что заставляет нашу привычную классическую реальность возникать из лежащих в основе квантовых законов природы. Хотя эти ошибки, связанные с окружающей средой, никогда не могут быть полностью предотвращены, многие другие являются проявлениями неточной калибровки системы управления и дрейфа оборудования — недостатков, которые мы можем устранить.
Выходя за рамки традиционных физических моделей
Традиционно квантовая калибровка основывалась на физических моделях. Ее методы совершенствовались на протяжении десятилетий исследований в области квантового управления. Однако в различных технологических областях созданные человеком модели неизбежно достигали предела производительности. Ранние системы компьютерного зрения зависали, полагаясь на строгие геометрические правила. Традиционная робототехника до сих пор испытывает трудности с кинематическими уравнениями, которые не могут учесть сложную реальность динамики контакта и трения. Аналогично, многолетняя задача прогнозирования сворачивания белков оставалась в значительной степени неразрешимой для традиционных физических моделей до тех пор, пока системы глубокого обучения, такие как AlphaFold, не достигли беспрецедентной точности. В этих областях новые прорывы произошли, когда подход сместился в сторону обучения непосредственно на основе данных.
Недавно AlphaQubit превзошла по точности самые мощные алгоритмические декодеры квантового управления. Теперь квантовое управление сталкивается с тем же пределом. По мере совершенствования квантовых процессоров благодаря прогрессу в производстве и аппаратном обеспечении, их ошибки все больше определяются сложными явлениями, которые представляют собой сложную задачу для традиционного моделирования и калибровки. Может ли машинное обучение принести новые достижения?
Не просто исправляйте ошибки, учитесь на них!
Исследовательский центр Google имеет богатую историю новаторских разработок в области обучения с подкреплением (RL) для решения задач, слишком сложных для традиционного программирования. В отличие от алгоритмов, основанных на явных инструкциях, RL работает на основе опыта. Автономный агент тестирует различные варианты поведения и учится непосредственно на возникающих ошибках, чтобы усовершенствовать свою стратегию. Применение RL для достижения точной, непрерывной квантовой калибровки казалось практически неизбежным. Поскольку квантовая обратная связь (QEC) уже генерирует постоянный поток событий обнаружения, мы просто отвели этим данным дополнительную роль. В дополнение к их декодированию и исправлению ошибок, мы используем события обнаружения в качестве сигнала активного обучения. По мере выполнения вычислений агент RL отслеживает эти данные и учится динамически управлять параметрами управления, противодействуя дрейфу и предотвращая новые ошибки.
Квантовые вычисления физически реализуются с помощью аналоговых управляющих сигналов. События обнаружения квантовых ошибок используются декодером для вывода логических исправлений. В нашей системе управления они также используются в качестве обучающего сигнала, обучающего агента обучения с подкреплением непрерывно управлять тысячами параметров управления и стабилизировать квантовую систему во время вычислений.
Наш эксперимент по квантовому управлению
Мы подтвердили эффективность такого квантового управления с помощью RL на нашем флагманском сверхпроводящем процессоре Willow. Преднамеренно вводя искусственный дрейф параметров управления, мы показали, что управление с помощью RL улучшает логическую стабильность нашего кода коррекции ошибок в 3,5 раза, продлевая время, в течение которого процессор работает как надежное устройство «квантовой памяти».
Как правило, настройка процессора для достижения максимальной производительности в значительной степени опиралась на подход «человек в контуре управления», когда ученые применяли физическую интуицию для решения сложных для автоматизации граничных случаев. Однако даже после такой исчерпывающей калибровки экспертами последующая тонкая настройка с использованием обучения с подкреплением систематически снижала частоту логических ошибок еще на 20%.
Благодаря синтезу всех наших технологий в этом эксперименте количество логических ошибок в квантовых запоминающих устройствах снизилось до рекордно низкого уровня: менее одной ошибки на тысячу циклов коррекции ошибок в поверхностном коде и одна на сто в цветовом коде.
QEC продлевает срок службы логической информации в квантовых запоминающих устройствах на основе поверхностного кода ( слева ) и цветового кода ( справа ). Тонкая настройка нашего контроллера с помощью обучения с подкреплением улучшает качество QEC, обходя ограничения сложных физических моделей и человеческой интуиции.
Масштабируемость?
Критически важный вопрос для исследователей в области машинного обучения и квантовых вычислений заключается в том, сможет ли этот подход с подкреплением масштабироваться до больших квантовых компьютеров будущего. Для проверки этого мы провели численное моделирование с сотнями кубитов и десятками тысяч параметров управления.
В нашей симуляции система с неправильной калибровкой изначально имеет высокую частоту физических ошибок. Агент постепенно снижает её со временем, обучаясь улучшенным параметрам управления, и благодаря квантовой коррекции ошибок (QEC) частота логических ошибок (LER) экспоненциально снижается с увеличением размера системы (т.е. количества физических кубитов). Важно отметить, что скорость снижения частоты физических ошибок с помощью обучения с подкреплением не зависит от этого размера, что позволяет масштабировать этот подход на гораздо более крупные системы.
Результаты моделирования подтвердили наши ожидания: количество необходимых итераций (эпох) обучения с подкреплением не зависит от размера системы, что обусловлено локальной чувствительностью событий обнаружения квантового управления к ошибкам. Однако для реализации полного потенциала системы обучения с подкреплением требуется более тесная интеграция. Мы надеемся, что ускорение цикла связи между агентом и квантовым процессором, а также использование более совершенных методов машинного обучения позволит добиться значительных дополнительных улучшений.
Таким образом, наша работа открывает новые возможности: квантовый компьютер, который учится на своих ошибках и не прекращает вычисления.
Благодарности
Мы благодарим наших соавторов за их вклад, включая создание и поддержку аппаратной, программной, криогенной и электронной инфраструктуры. Эта работа стала возможной благодаря команде Google Quantum AI в Google Research в сотрудничестве с командами Google DeepMind.
Источник: research.google
Оцените материал:
