Хотя есть основания для беспокойства по поводу влияния ИИ на климат, надежда ещё не потеряна. Вот почему.
На следующий день после своей инаугурации в январе президент Дональд Трамп объявил о программе Stargate – инициативе стоимостью 500 миллиардов долларов по созданию инфраструктуры искусственного интеллекта, поддержанной некоторыми крупнейшими технологическими компаниями. Stargate направлена на ускорение строительства крупных центров обработки данных и электросетей по всей территории США, чтобы сохранить преимущество перед Китаем.
Эта статья является частью серии статей MIT Technology Review «Энергоемкие: ИИ и наше энергетическое будущее», посвященной энергетическим потребностям и стоимости выбросов углерода в результате революции искусственного интеллекта.
Подход «любой ценой» к гонке за мировое господство в сфере искусственного интеллекта был главной темой Давоса, говорит Ракель Уртасун, основательница и генеральный директор канадского стартапа Waabi, занимающегося разработкой роботизированных грузовиков, имея в виду ежегодную январскую встречу Всемирного экономического форума в Швейцарии, которая состоялась на той же неделе, когда Трамп объявил о своём решении. «Меня очень беспокоит, куда движется отрасль», — говорит Уртасун.
Она не одинока. «Доллары вкладываются, графические процессоры сжигаются, вода испаряется — это совершенно неверное направление», — говорит Али Фархади, генеральный директор некоммерческой организации Allen Institute for AI в Сиэтле.
Но если вникнуть в разговоры о стремительном росте расходов и влиянии на климат, то можно найти основания для оптимизма. В настоящее время разрабатываются инновации, которые могут повысить эффективность программного обеспечения, лежащего в основе моделей искусственного интеллекта, компьютерных чипов, на которых эти модели работают, и центров обработки данных, где эти чипы работают круглосуточно.
Вот что вам нужно знать о том, как можно сократить потребление энергии и, следовательно, выбросы углерода во всех трех областях, а также дополнительный аргумент в пользу осторожного оптимизма: есть основания полагать, что реалии бизнеса в конечном итоге склонятся в сторону более энергоэффективного ИИ.
1/ Более эффективные модели
Наиболее очевидным местом для начала будут сами модели — способ их создания и способ их запуска.
Модели искусственного интеллекта (ИИ) создаются путём обучения нейронных сетей на огромных объёмах данных. Крупные языковые модели обучаются на огромных объёмах текста, модели автономного вождения — на огромных объёмах данных о вождении, и так далее.
Но сбор таких данных зачастую неразборчив. Крупные языковые модели обучаются на наборах данных, включающих текст, взятый из большей части интернета и огромные библиотеки отсканированных книг. Практика заключалась в том, чтобы взять всё, что не укладывается в общую картину, добавить в общую картину и посмотреть, что получится. Этот подход, безусловно, работает, но многократное обучение модели на огромном наборе данных с целью извлечения релевантных закономерностей — пустая трата времени и сил.
Связанная история
Китайская компания приоткрыла завесу тайны, чтобы продемонстрировать, как ведущие лаборатории, возможно, создают свои модели следующего поколения. Теперь всё становится интереснее.
Возможно, существует более эффективный способ. От детей не ждут, что они будут учиться, просто читая всё, что когда-либо было написано; им дают конкретную учебную программу. Urtasun считает, что нам следует сделать нечто подобное с ИИ, обучая модели с использованием более тщательно отобранных данных, адаптированных для конкретных задач. (Waabi обучает свои роботизированные грузовики в сверхреалистичной симуляции, которая позволяет детально контролировать виртуальные данные, предоставляемые моделям.)
И это касается не только Waabi. Writer, стартап в области искусственного интеллекта, создающий крупные языковые модели для корпоративных клиентов, утверждает, что обучение и запуск его моделей обходится дешевле отчасти потому, что обучение происходит на синтетических данных. Использование для моделей индивидуальных наборов данных вместо более крупных, но менее тщательно отобранных, ускоряет процесс обучения (и, следовательно, снижает затраты). Например, вместо того, чтобы просто скачивать Википедию, команда Writer берёт отдельные страницы Википедии и переписывает их содержимое в разных форматах — например, в виде вопросов и ответов, а не текстовых блоков и так далее, — чтобы модели могли обучаться лучше, используя меньше данных.
Обучение — это только начало жизненного цикла модели. По мере роста размера моделей их запуск становится всё более затратным. Так называемые модели рассуждений, которые обрабатывают запрос шаг за шагом перед выдачей ответа, особенно прожорливы, поскольку вычисляют серию промежуточных ответов для каждого ответа. Цена этих новых возможностей впечатляет: по оценкам, стоимость запуска модели рассуждений o3 OpenAI достигает 30 000 долларов США за одну задачу.
Но этой технологии всего несколько месяцев, и она всё ещё находится на экспериментальном уровне. Фархади ожидает, что эти затраты скоро снизятся. Например, инженеры найдут способ не дать моделям рассуждений зайти слишком далеко в тупик, прежде чем они определят их нежизнеспособность. «Сначала, когда вы что-то делаете, это обходится гораздо дороже, а потом вы придумываете, как сделать это меньше и эффективнее», — говорит Фархади. «Это довольно устойчивая тенденция в технологиях».
По его словам, один из способов добиться прироста производительности без значительного скачка энергопотребления — это параллельное выполнение этапов вывода (вычислений, которые модель выполняет для получения ответа). Параллельные вычисления лежат в основе большей части современного программного обеспечения, особенно больших языковых моделей (графические процессоры изначально параллельны). Тем не менее, базовый метод может быть применён к более широкому кругу задач. Разделяя задачу и выполняя различные её части одновременно, параллельные вычисления могут генерировать результаты быстрее. Они также позволяют экономить энергию за счёт более эффективного использования доступного оборудования. Но для этого требуются новые интеллектуальные алгоритмы для координации нескольких подзадач и объединения их в единый результат.
Даже самые крупные и мощные модели не будут использоваться постоянно. Много говорят о небольших моделях — версиях крупных языковых моделей, помещённых в карманные пакеты. Во многих случаях эти более эффективные модели работают не хуже более крупных, особенно в определённых сценариях использования.
По мере того, как компании выясняют, насколько крупные языковые модели соответствуют их потребностям (или нет), набирает силу тенденция к созданию более эффективных индивидуальных моделей. Вам не нужен универсальный диплом магистра права для управления запасами или ответа на запросы узкоспециализированных клиентов. «Будет очень, очень много специализированных моделей, а не одна универсальная модель, которая решает всё», — говорит Фархади.
Кристина Шим, директор по устойчивому развитию IBM, наблюдает, как эта тенденция проявляется в том, как её клиенты внедряют эту технологию. Она работает с компаниями, помогая им выбирать максимально компактные и энергоёмкие модели. «Не только самая большая модель даст вам максимальную отдачу от вложенных средств», — говорит она. Модель меньшего размера, которая делает именно то, что вам нужно, — более выгодное вложение, чем модель большего размера, которая делает то же самое: «Давайте не будем использовать кувалду, чтобы забить гвоздь».
2/ Более эффективные компьютерные чипы
По мере того, как программное обеспечение становится более оптимизированным, аппаратное обеспечение, на котором оно работает, также будет становиться более эффективным. Здесь есть определённое противоречие: в краткосрочной перспективе производители чипов, такие как Nvidia, спешат разработать всё более мощные чипы, чтобы удовлетворить спрос компаний, желающих выпускать всё более мощные модели. Но в долгосрочной перспективе эта гонка нежизнеспособна.
«Модели стали настолько большими, что даже выполнение этапа вывода теперь начинает превращаться в серьезную проблему», — говорит Навин Верма, соучредитель и генеральный директор молодого производителя микрочипов EnCharge AI.
Такие компании, как Microsoft и OpenAI, терпят убытки, запуская свои модели в центрах обработки данных, чтобы удовлетворить спрос миллионов пользователей. Использование моделей меньшего размера может помочь. Другой вариант — перенести вычисления из центров обработки данных на собственные компьютеры пользователей.
Именно это Microsoft пыталась сделать со своей инициативой Copilot+ PC, представив на рынке сверхмощный ПК, который позволял бы самостоятельно запускать модель ИИ (и оплачивать счета за электроэнергию). Эта инициатива не получила широкого распространения, но Верма считает, что её развитие продолжится, поскольку компании захотят максимально снизить затраты на запуск модели.
Но для того, чтобы модели ИИ (даже небольшие) надежно работали на персональных устройствах пользователей, потребуется кардинально изменить чипы, которые обычно используются в этих устройствах. Эти чипы необходимо сделать ещё более энергоэффективными, поскольку они должны работать от одной батарейки, говорит Верма.
Именно здесь на помощь приходит EnCharge. Его решение — это новый тип микросхемы, которая отказывается от цифровых вычислений в пользу так называемых аналоговых вычислений в оперативной памяти. Вместо представления информации двоичными нулями и единицами, как в обычных цифровых компьютерных микросхемах, электроника в аналоговых микросхемах может представлять информацию в диапазоне значений от 0 до 1. Теоретически это позволяет выполнять больше задач при том же энергопотреблении.
ШИВЕН СВЕН ВАНКомпания EnCharge была создана в 2022 году на базе исследовательской лаборатории Вермы в Принстоне. «Мы десятилетиями знали, что аналоговые вычисления могут быть гораздо эффективнее — на порядки — цифровых», — говорит Верма. Но аналоговые компьютеры никогда не работали на практике как следует, поскольку допускали множество ошибок. Верма и его коллеги нашли способ делать точные аналоговые вычисления.
EnCharge фокусируется исключительно на базовых вычислениях, необходимых сегодня искусственному интеллекту. При поддержке таких гигантов полупроводниковой отрасли, как TSMC, стартап разрабатывает оборудование, которое выполняет многомерное умножение матриц (базовую математическую операцию, лежащую в основе всех моделей глубокого обучения) на аналоговом чипе, а затем передаёт результат обратно в окружающий цифровой компьютер.
Аппаратное обеспечение EnCharge — лишь один из ряда экспериментальных проектов новых чипов, готовящихся к разработке. IBM и другие компании уже много лет изучают так называемые нейроморфные вычисления. Идея заключается в разработке компьютеров, имитирующих сверхэффективную вычислительную мощность мозга. Другой путь — оптические чипы, которые заменяют электроны в традиционном чипе светом, что также снижает энергозатраты на вычисления. Ни один из этих проектов пока не может сравниться с электронными цифровыми чипами, производимыми такими компаниями, как Nvidia. Но по мере роста спроса на эффективность такие альтернативы будут ждать своего часа.
Повысить эффективность можно не только чипов. Значительная часть энергии внутри компьютеров тратится на передачу данных. IBM заявляет, что разработала новый тип оптического коммутатора — устройства для управления цифровым трафиком, которое на 80% эффективнее предыдущих коммутаторов.
3/ Более эффективное охлаждение в центрах обработки данных
Ещё одним важным источником энергии является необходимость управления отводимым теплом, выделяемым высокопроизводительным оборудованием, на котором работают модели искусственного интеллекта. Том Эрп, технический директор проектной компании Page, занимается строительством центров обработки данных с 2006 года, в том числе шесть лет проработал в Meta. Эрп стремится к эффективности во всём: от конструкции здания до электроснабжения, систем охлаждения и способов передачи данных.
По словам Эрпа, в течение десятилетия или более, пока закон Мура не стал действовать, проекты центров обработки данных оставались довольно стабильными. Но затем всё изменилось. С переходом на процессоры, такие как графические процессоры, и появлением ещё более новых чипов на горизонте, сложно предсказать, какое оборудование потребуется новому центру обработки данных — и, следовательно, какие потребности в энергии ему придётся поддерживать — через несколько лет. Но в краткосрочной перспективе можно с уверенностью сказать, что чипы будут становиться всё быстрее и горячее: «Я вижу, что люди, которым предстоит принимать эти решения, рассчитывают на значительный рост потребляемой нами мощности», — говорит Эрп.
Ясно одно: чипы, на которых работают модели искусственного интеллекта, такие как графические процессоры, потребляют больше энергии на единицу пространства, чем предыдущие типы компьютерных чипов. И это имеет серьёзные последствия для инфраструктуры охлаждения внутри центра обработки данных. «Когда мощность растёт, растёт и температура», — говорит Эрп.
При таком количестве мощных чипов, спрессованных вместе, воздушного охлаждения (то есть больших вентиляторов) уже недостаточно. Вода стала основным хладагентом, поскольку она лучше воздуха отводит тепло. Это не очень хорошая новость для местных источников воды вокруг дата-центров. Но есть способы повысить эффективность водяного охлаждения.
Один из вариантов — использовать воду для отвода отработанного тепла из центра обработки данных в места, где его можно использовать. В Дании вода из центров обработки данных использовалась для отопления домов. В Париже во время Олимпийских игр её использовали для обогрева бассейнов.
Вода также может служить своего рода аккумулятором. Энергия, вырабатываемая возобновляемыми источниками, такими как ветряные турбины или солнечные панели, может использоваться для охлаждения воды, которая хранится до тех пор, пока не понадобится для охлаждения компьютеров, что снижает энергопотребление в часы пик.
Но по мере того, как в центрах обработки данных становится всё жарче, одного лишь водяного охлаждения недостаточно, говорит Тони Атти, генеральный директор стартапа Phononic, поставляющего специализированные чипы для охлаждения. Производители чипов создают чипы, которые передают данные всё быстрее и быстрее. Он приводит в пример Nvidia, которая вот-вот выпустит чип, обрабатывающий 1,6 терабайта в секунду: «При такой скорости передачи данных всё становится просто адом, и потребность в охлаждении растёт экспоненциально», — говорит он.
По словам Атти, чипы внутри серверов потребляют около 45% энергии в центре обработки данных. Однако охлаждение этих чипов теперь потребляет почти столько же энергии — около 40%. «Впервые управление температурным режимом становится ключом к расширению инфраструктуры ИИ», — говорит он.
Охлаждающие чипы Phononic — это небольшие термоэлектрические устройства, которые можно размещать на охлаждаемом оборудовании или рядом с ним. Подайте питание на светодиодный чип, и он начнет излучать фотоны; подайте питание на термоэлектрический чип, и он начнет излучать фононы (которые по отношению к колебательной энергии, то есть температуре, подобны фотонам по отношению к свету). Короче говоря, фононные чипы переносят тепло от одной поверхности к другой.
Такие чипы, помещенные в ограниченное пространство внутри и вокруг серверов, могут обнаруживать малейшее повышение температуры и включаться/выключаться для поддержания стабильной температуры. Во включенном состоянии они отводят избыточное тепло в водопроводную трубу. Атти утверждает, что их также можно использовать для повышения эффективности существующих систем охлаждения. Чем быстрее охлаждается вода в центре обработки данных, тем меньше её требуется.
4/ Сокращение расходов идет рука об руку с сокращением потребления энергии.
Несмотря на взрывной рост энергопотребления ИИ, есть основания для оптимизма. Устойчивое развитие часто остаётся на втором плане или просто приятным дополнением. Но с ИИ лучший способ сократить общие расходы — это уменьшить счета за электроэнергию. Это хорошая новость, поскольку это должно стимулировать компании к повышению эффективности. «Я думаю, что мы достигли согласованности между климатической устойчивостью и устойчивостью затрат», — говорит Верма. «Думаю, в конечном итоге это станет мощным стимулом, который подтолкнёт отрасль к повышению энергоэффективности».
Шим соглашается: «Это просто хороший бизнес, понимаешь?»
Компаниям придётся серьёзно задуматься о том, как и когда использовать ИИ, выбирая при возможности более компактные, индивидуальные решения, говорит она: «Просто посмотрите на мир прямо сейчас. Расходы на технологии, как и всё остальное, в будущем станут ещё более критичными».
Шим считает, что опасения по поводу энергопотребления ИИ обоснованы. Но она указывает на развитие интернета и бум персональных компьютеров 25 лет назад. По её словам, по мере совершенствования технологий, лежащих в основе этих революций, стоимость электроэнергии оставалась более-менее стабильной, несмотря на стремительный рост числа пользователей.
Шим считает, что это общее правило применимо и в этот раз: когда технологии развиваются, они становятся эффективнее. «Думаю, именно в такой ситуации мы сейчас находимся с ИИ», — говорит она.
Искусственный интеллект быстро становится товаром массового спроса, а это значит, что рыночная конкуренция будет способствовать снижению цен. Чтобы остаться на рынке, компании будут стремиться сократить потребление энергии хотя бы ради повышения прибыли.
В конце концов, капитализм может нас спасти.
Жаждущие власти:
ИИ и наше энергетическое будущее
Источник: www.technologyreview.com
