Мы эволюционировали для линейного мира. Если вы идете пешком час, вы преодолеваете определенное расстояние. Если вы идете два часа, вы преодолеваете вдвое большее расстояние. Эта интуиция хорошо служила нам в саванне. Но она катастрофически не справляется с задачей, когда мы сталкиваемся с искусственным интеллектом и лежащими в его основе экспоненциальными тенденциями.
С тех пор, как я начал работать над ИИ в 2010 году, и до настоящего времени объем обучающих данных, используемых в передовых моделях ИИ, вырос в ошеломляющие 1 триллион раз — примерно с 10¹⁴ флопс (операций с плавающей запятой, основной единицы вычислений) для ранних систем до более чем 10²⁶ флопс для самых больших современных моделей. Это взрывной рост. Все остальное в ИИ вытекает из этого факта.
Скептики продолжают предсказывать появление новых барьеров. И они продолжают ошибаться, несмотря на этот грандиозный рост вычислительных мощностей. Часто они указывают на замедление действия закона Мура. Они также упоминают недостаток данных или ссылаются на ограничения в энергопотреблении.
Но если взглянуть на совокупные силы, движущие этой революцией, экспоненциальный рост кажется вполне предсказуемым. Чтобы понять почему, стоит взглянуть на сложную и быстро меняющуюся реальность, скрывающуюся за заголовками новостей.
Представьте себе обучение ИИ как комнату, полную людей, работающих за калькуляторами. Годами увеличение вычислительной мощности означало увеличение числа людей с калькуляторами в этой комнате. Большую часть времени эти работники сидели без дела, стуча пальцами по столам, ожидая, пока поступят данные для следующего вычисления. Каждая пауза была упущенной возможностью. Сегодняшняя революция выходит за рамки простого увеличения количества и улучшения калькуляторов (хотя она и обеспечивает это); на самом деле она заключается в обеспечении того, чтобы все эти калькуляторы никогда не останавливались и работали вместе как единое целое.
Сейчас этому способствуют три фактора. Во-первых, базовые калькуляторы стали быстрее. Чипы Nvidia за шесть лет обеспечили более чем семикратное увеличение производительности: с 312 терафлопс в 2020 году до 2250 терафлопс сегодня. Наш собственный чип Maia 200, выпущенный в январе этого года, обеспечивает на 30% лучшую производительность на доллар, чем любое другое оборудование в нашем парке. Во-вторых, показатели достигаются быстрее благодаря технологии HBM, или высокоскоростной памяти, которая размещает чипы вертикально, как крошечные небоскребы; последнее поколение, HBM3, утраивает пропускную способность своего предшественника, подавая данные процессорам достаточно быстро, чтобы они были постоянно заняты. В-третьих, комната с людьми, работающими с калькуляторами, превратилась в офис, а затем и в целый кампус или город. Такие технологии, как NVLink и InfiniBand, объединяют сотни тысяч графических процессоров в суперкомпьютеры размером со склад, которые функционируют как единые когнитивные сущности. Несколько лет назад это было невозможно.
В совокупности все эти достижения обеспечивают значительно большую вычислительную мощность. Если в 2020 году обучение языковой модели занимало 167 минут на восьми графических процессорах, то сейчас на аналогичном современном оборудовании это занимает менее четырех минут. Для сравнения: закон Мура предсказывал лишь примерно пятикратное улучшение за этот период. Мы же увидели пятидесятикратное. Мы перешли от двух графических процессоров, обучающих AlexNet, модель распознавания изображений, положившую начало современному буму глубокого обучения в 2012 году, к более чем 100 000 графических процессоров в крупнейших кластерах сегодня, каждый из которых по отдельности намного мощнее своих предшественников.
Затем следует революция в программном обеспечении. Исследования Epoch AI показывают, что вычислительные ресурсы, необходимые для достижения фиксированного уровня производительности, сокращаются примерно вдвое каждые восемь месяцев, что намного быстрее, чем традиционное удвоение за 18-24 месяца, предусмотренное законом Мура. Стоимость обслуживания некоторых современных моделей снизилась в 900 раз в годовом исчислении. Внедрение ИИ становится значительно дешевле.
Цифры на ближайшее будущее столь же поразительны. Обратите внимание, что ведущие лаборатории увеличивают свои мощности почти в 4 раза ежегодно. С 2020 года вычислительные мощности, используемые для обучения перспективных моделей, росли в 5 раз каждый год. Прогнозируется, что к 2027 году глобальные вычислительные мощности, имеющие отношение к ИИ, достигнут 100 миллионов эквивалентов H100, что в десять раз больше, чем за три года. В сумме это означает, что к концу 2028 года эффективные вычислительные мощности увеличатся примерно в 1000 раз. Вполне вероятно, что к 2030 году мы будем ежегодно вводить в эксплуатацию дополнительно 200 гигаватт вычислительных мощностей — что сопоставимо с пиковым энергопотреблением Великобритании, Франции, Германии и Италии вместе взятых.
К чему всё это приведёт? Я считаю, что это станет движущей силой перехода от чат-ботов к агентам, почти превосходящим человеческие возможности — полуавтономным системам, способным писать код днями напролёт, выполнять проекты, растягивающиеся на недели и месяцы, совершать звонки, заключать контракты, управлять логистикой. Забудьте о простых помощниках, отвечающих на вопросы. Представьте себе команды ИИ-работников, которые обсуждают, сотрудничают и выполняют задачи. Сейчас мы находимся лишь на начальном этапе этого перехода, и его последствия простираются далеко за пределы технологической сферы. Каждая отрасль, построенная на когнитивных технологиях, будет преобразована.
Очевидным ограничением здесь является энергопотребление. Одна стойка для систем искусственного интеллекта размером с холодильник потребляет 120 киловатт, что эквивалентно 100 домам. Но этот спрос сталкивается с другой экспоненциальной зависимостью: стоимость солнечной энергии снизилась почти в 100 раз за 50 лет; цены на батареи упали на 97% за три десятилетия. Таким образом, открывается путь к масштабированию экологически чистых систем.
Инвестиции вложены. Инженерные разработки приносят результаты. Кластеры стоимостью 100 миллиардов долларов, потребление электроэнергии в 10 гигаватт, суперкомпьютеры масштаба складских помещений… это уже не научная фантастика. Сейчас в США и по всему миру ведется работа над этими проектами. В результате мы движемся к истинному когнитивному изобилию. В Microsoft AI именно такой мир планирует и строит наша лаборатория суперинтеллекта.
Скептики, привыкшие к линейному миру, будут продолжать предсказывать убывающую отдачу. И они будут продолжать удивляться. Взрыв вычислительных мощностей — это технологическая история нашего времени, и точка. И это только начало.
Мустафа Сулейман — генеральный директор Microsoft AI.
Источник: www.technologyreview.com
