Один из разработчиков, пользующийся искусственным интеллектом в домашних условиях, заметил на просторах Reddit объявление о продаже сервера с двумя NVIDIA GH200. Оно привлекло внимание сегодняшнего героя очень низкой ценой: изначально за сервер требовали €10000, но после торга ценник удалось сбить до €7000.
Внутри стойки присутствуют два суперчипа NVIDIA Grace Hopper: 144 ядра ARM, два ускорителя Hopper H100, два набора оперативной памяти по 480 Гбайт LPDDR5x с ECC, 192 Гбайта видеопамяти HBM3, NVLink-C2C с пропускной способностью 900 Гбайт/с, блок питания на 3000 Вт, четыре FHFL PCI Express 5.0 x16 и два M.2 PCIe 4.0.
Сервер предназначен для работы с жидкостным охлаждением, но прошлый владелец заменил его на воздушное, поэтому разработчику в лице Дэвида Ноэля (David Noel) пришлось переделывать систему под исходное охлаждение, но оптимизированное под домашние реалии. Для этого пришлось вычистить внутренности, распечатать пару деталей на 3D-принтере и обзавестись изготовленными на заказ медными водоблоками.
В конечном итоге пользователю удалось нормализовать отвод тепла, нормализовать уровень шума и получить возможность работать с большими языковыми моделями, размер которых может достигать 235 миллиардов параметров. Реальная стоимость такого сервера составляет как минимум €60 000, так как каждый суперчип NVIDIA Grace Hopper стоит около €30-40 тысяч, не считая остального оборудования. С учётом ремонта пользователь потратил приблизительно €9000.
