Упавшая линия электропередачи выявила растущую проблему в центрах обработки данных, использующих искусственный интеллект. Вот как это исправить.

На этой неделе недалеко от Вашингтона, округ Колумбия, оборвалась линия электропередачи. Обычно для восстановления электросети после подобных инцидентов требуется всего несколько секунд. Но в этот раз на это ушло более 10 минут, поскольку более 3 гигаватт мощности центров обработки данных практически одновременно прекратили потребление электроэнергии.

Согласно данным, собранным компанией Ting Labs, стартапом, управляющим сетью IoT-датчиков, подключенных к электрическим розеткам потребителей, это событие вызвало скачок напряжения в энергосистеме PJM от Северной Вирджинии до Чикаго.

Инцидент не привёл к отключению электроэнергии, но вызвал мерцание света по всему региону. Он продемонстрировал влияние, которое центры обработки данных могут оказывать на энергосистему — и эксперты считают, что подобные ситуации будут возникать всё чаще.

Северная Вирджиния, находящаяся на территории PJM, является местом расположения самой высокой в мире концентрации центров обработки данных.

«Это как канарейка в угольной шахте», — сказал Рикардо де Азеведо, технический директор ON.Energy, в интервью TechCrunch. По его словам, подобные инциденты с большими нагрузками, такими как центры обработки данных, «происходят все чаще».

Это событие перекликается с тем, что произошло два года назад, также в энергосистеме PJM, и может предвещать более масштабные проблемы, если центры обработки данных не будут построены таким образом, чтобы более эффективно справляться с перебоями в электроснабжении. Энергетическая сеть PJM управляет энергосистемами от Нью-Джерси до Иллинойса и обслуживает 67 миллионов потребителей, являясь крупнейшим оператором энергосистемы в Соединенных Штатах.

Когда на этой неделе оборвалась линия электропередачи, это привело к переключению центров обработки данных на резервное питание, и, по данным PJM, примерно 3,1 гигаватта нагрузки исчезли примерно за 30 секунд. Энергосистема, казалось, несколько восстановилась, но вскоре после этого произошло дальнейшее снижение нагрузки. На пике нагрузки в сети PJM было дополнительно 3,49 гигаватт электроэнергии. Потребовалось еще 11 минут, прежде чем она стабилизировалась. По данным Reuters, отключенные центры обработки данных составляли около 3% от общей нагрузки на PJM в тот момент.

Несколько процентов могут показаться незначительной величиной, но электросеть должна работать в состоянии почти идеального баланса, когда спрос и предложение точно соответствуют друг другу. В противном случае напряжение может проседать или резко возрастать. Сеть и подключенные к ней устройства могут выдерживать небольшие колебания, но если эти колебания становятся слишком большими, они активируют защитные механизмы в сети или на отдельных объектах, что приводит к их отключению.

Когда центры обработки данных в Северной Вирджинии почувствовали колебания напряжения, вызванные обрывом линии электропередачи, они переключились на резервное питание, что снизило их нагрузку на сеть. По мере того, как все больше центров обработки данных переходили на резервное питание, они снижали нагрузку на сеть все больше и больше. То, что начиналось как относительно небольшое снижение предложения, переросло в еще большее падение спроса, что привело к резкому росту предложения и перегоранию лампочек.

Большинство центров обработки данных принимают решения за доли секунды, и те, которые отключились на этой неделе, похоже, не стали исключением. Когда до них дошло падение напряжения, все они приняли решение отключиться с разницей в несколько секунд, — рассказал TechCrunch Али Заин Банатвала, старший специалист по рыночным моделям в Независимом операторе электроэнергетической системы.

«Нам нужно придумать способ, как обеспечить последовательное отключение или повторное подключение этих расположенных рядом нагрузок», — сказал он. Более упорядоченный процесс позволил бы операторам энергосистемы заранее разработать более надежные процедуры.

В качестве альтернативы, центры обработки данных можно было бы строить таким образом, чтобы они поглощали сбои, а не игнорировали их. Один из стартапов, ON.Energy, работает над продуктом, который поможет центрам обработки данных — и энергосистеме — пережить такие события, как то, что произошло на этой неделе.

Компания разработала источник бесперебойного питания для всего кампуса центров обработки данных, охватывающий не только серверы, но и чиллеры и другое оборудование. По сути, компания скрывает центр обработки данных за батареей, подключенной к сложному преобразовательному оборудованию. Вся сеть «видит» только одну стабильную, хорошо управляемую нагрузку, а не пики и спады от каждой отдельной части центра обработки данных. Система ON.Energy позволяет центрам обработки данных плавно увеличивать и уменьшать вычислительные нагрузки, включая обучение ИИ, не создавая помех для сети.

Возможно, еще более важно то, что это также означает, что центры обработки данных могут поглощать колебания напряжения в сети. Вместо отключения от сети, система ON.Energy может использовать любую избыточную энергию для зарядки своих батарей, и если поток энергии падает, система может перенаправить питание на серверы. Кроме того, она может следовать за изменениями в сети с точностью до миллисекунд, предотвращая провалы или скачки напряжения, подобные тем, которые вызвали проблему на этой неделе в PJM.

По словам де Азеведо, в настоящее время компания ON.Energy устанавливает системы общей мощностью 3 гигаватта на четырех различных площадках центров обработки данных.

Руководители энергосистем также осознали эту проблему.

Например, по словам де Азеведо, ERCOT потребуется, чтобы крупные сети, такие как центры обработки данных, могли «пережить» сбои.

Однако время поджимает. Массовое отключение электроэнергии на этой неделе было вдвое масштабнее аналогичного события 2024 года, когда одновременно отключились 60 центров обработки данных, что привело к потере 1,5 гигаватт нагрузки из сети. Тогда, по данным Synapse Energy Economics, на центры обработки данных приходилось около 6% нагрузки PJM. К 2040 году ожидается, что их доля достигнет 24%. Если проблему не решить в ближайшее время, ситуация может значительно ухудшиться.

Источник: techcrunch.com