Математические основы чипа OpenAI Jalapeño

Искусственный интеллект в действии

Математические основы чипа OpenAI Jalapeño

Финансовое положение OpenAI во многом зависит от затрат на инфраструктуру, что и послужило толчком к разработке нового специализированного чипа OpenAI Jalapeño. Разработанная в сотрудничестве с Broadcom, эта специализированная интегральная схема (ASIC) представляет собой прямую попытку снизить значительные капитальные затраты, связанные с оборудованием сторонних производителей.

В то время как Nvidia в настоящее время получает примерно 75% прибыли от своих высокопроизводительных процессоров, OpenAI работает с более низкой маржой, оставляя себе около 33 центов прибыли с каждого доллара, полученного после учета огромных операционных расходов. Финансовое бремя, связанное с запуском больших языковых моделей в больших масштабах, является серьезным.

В прошлом году поддержание работоспособности серверов ChatGPT обошлось OpenAI в колоссальные 8,4 миллиарда долларов США. Сейчас, когда платформой пользуются 900 миллионов человек еженедельно, прогнозируется, что в этом году операционные расходы достигнут примерно 14 миллиардов долларов США. В течение следующих восьми лет OpenAI инвестировала в вычислительные мощности около 1,4 триллиона долларов США — огромная ставка для компании, годовой доход которой в настоящее время составляет 25 миллиардов долларов США.

Разработка аппаратного обеспечения для вывода данных LLM

Чип OpenAI Jalapeño, названный первым «интеллектуальным процессором» компании, создан специально для вывода больших языковых моделей (LLM), а не для универсальных задач искусственного интеллекта. OpenAI предоставила базовую архитектуру, основанную на своих конкретных планах развития моделей и системах обслуживания, а Broadcom занималась разработкой микросхем и интеграцией высокопроизводительных сетевых компонентов.

Компания TSMC занимается физическим производством на Тайване, а Celestica отвечает за сборку плат и стоечных систем. По данным OpenAI, на первых лабораторных образцах уже выполняются передовые задачи, включая еще не выпущенную модель GPT-5.3-Codex-Spark, на целевой производственной частоте и энергопотреблении.

Ричард Хо, руководитель программы разработки аппаратного обеспечения OpenAI, отметил, что архитектура минимизирует перемещение данных, приближая фактическую загрузку к теоретической пиковой производительности. В отличие от универсальных ускорителей, адаптированных из устаревших рабочих нагрузок ИИ, эта архитектура специально балансирует вычислительные ресурсы, память и сетевые ресурсы для решения проблем, связанных с перемещением данных, характерных для интерактивного обслуживания LLM.

Для достижения этой цели в масштабе платформа интегрирует сетевые компоненты Broadcom Tomahawk непосредственно в свою конструкцию, что позволяет специализированным процессорам взаимодействовать в масштабных кластерных средах центров обработки данных.

Маховик вертикальной интеграции

Переходя к разработке собственных микросхем, OpenAI превращается из компании, занимающейся исключительно программным обеспечением, в вертикально интегрированную инфраструктурную компанию. Эта комплексная стратегия охватывает весь производственный процесс: архитектуру чипа, ядра программного обеспечения, системы памяти, планирование сети и, наконец, прикладной уровень. Подобно тесной связи проприетарного оборудования и iOS, используемой Apple, OpenAI теперь может оптимизировать свою инфраструктуру в соответствии со своими внутренними планами развития моделей.

Эта интеграция обеспечивает непрерывный операционный цикл. Повышение эффективности инфраструктуры снижает стоимость как обучения, так и обслуживания. Более доступное обслуживание приводит к созданию более качественных и отзывчивых продуктов, что, в свою очередь, увеличивает объем пользователей и выручку, которые реинвестируются в следующее поколение специализированной инфраструктуры.

Преодоление преимущества отстающих

Внедряя собственные микросхемы, OpenAI выходит на рынок, где её основные конкуренты почти десять лет разрабатывали собственное оборудование. Google начала развертывание своих тензорных процессоров (TPU) в 2015 году и теперь контролирует примерно четверть мировых вычислительных мощностей в области ИИ за пределами цепочки поставок Nvidia.

Компания Amazon отгрузила более миллиона своих специализированных чипов, а Meta и Microsoft продолжают масштабировать собственную инфраструктуру.

«Jalapeño является частью нашей долгосрочной стратегии развития комплексной инфраструктуры, направленной на расширение доступа к вычислительным ресурсам», — сказал Грег Брокман, президент и соучредитель OpenAI. «Разрабатывая большую часть стека самостоятельно, мы можем предоставлять больше интеллектуальных решений с большей эффективностью».

Чтобы сократить этот временной разрыв, OpenAI ускорила этап разработки. Чип OpenAI Jalapeño перешел от проектирования с нуля к этапу производства — заключительному этапу перед физическим выпуском — всего за девять месяцев. Инженерные команды достигли этого результата, используя собственные языковые модели OpenAI для автоматизации и оптимизации отдельных этапов процесса проектирования оборудования.

Это создает уникальную петлю обратной связи, в которой модели, предоставляемые пользователям, активно используются для построения физической инфраструктуры, которая будет обеспечивать работу будущих версий. Первоначальное развертывание оборудования в центрах обработки данных запланировано на конец 2026 года.

Генеральный директор Broadcom Хок Тан подтвердил, что развертывание будет масштабироваться совместно с партнерами по инфраструктуре, включая Microsoft, для подготовки к интеграции центров обработки данных гигаваттного масштаба.

(Фото предоставлено OpenAI)

См. также: Omio масштабирует разработку туристических продуктов с использованием моделей OpenAI.

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими выставками. Для получения дополнительной информации нажмите здесь.

AI News — это проект TechForge Media. Здесь вы можете ознакомиться с другими предстоящими мероприятиями и вебинарами, посвященными корпоративным технологиям.

Источник: www.artificialintelligence-news.com