Российские LLM испытали на китайских GPU

Конфигурация показала производительность, сопоставимую с решениями на NVIDIA H100

Группа Rubytech завершила тестирование российских больших языковых моделей на китайских графических ускорителях. Испытания Cotype 3 разработки MWS AI прошли в составе фирменного программно-аппаратного комплекса «Машины искусственного интеллекта Скала^р» с восемью китайскими GPU.

Инженеры проверили работу модели без использования ускорителей NVIDIA, оценив скорость обработки запросов, задержку отклика и стабильность системы при росте нагрузки. В наиболее распространенных сценариях конфигурация показала производительность, сопоставимую с решениями на NVIDIA H100.

Дополнительная оптимизация драйверов, программной среды и средств оркестрации позволила увеличить показатели в отдельных сценариях в 2–2,2 раза относительно исходной среды. Контейнерный подход также упростил развертывание моделей.

В Rubytech считают, что результаты подтверждают возможность создания корпоративных ИИ-систем на альтернативной аппаратной базе. Такой подход может снизить зависимость от одного поставщика и дать компаниям больше вариантов при выборе оборудования с учетом стоимости, производительности и перспектив масштабирования.

В дальнейшем компания планирует испытать платформу с новыми поколениями китайских GPU и расширить перечень российских ИИ-сервисов, совместимых с системой.

Источник: ixbt.pro