Разворачиваем MiniMax-M2.7 на GPU-инфраструктуре с поддержкой S3

Использовать нейросети для работы с внутренними данными компании — идея классная, но скармливать их внешним API банально опасно. Никому не хочется, чтобы коммерческая тайна или уязвимости инфраструктуры утекли в сеть.

Выход — поднять модель в своем закрытом контуре. В этой статье мы пошагово развернем языковую модель nvidia/MiniMax-M2.7-NVFP4 на GPU-сервере и подключим ее к S3-совместимому объектному хранилищу. Под катом разбираемся, как подобрать конфигурацию сервера для запуска, создать преднастроенную виртуальную машину, запустить MiniMax-M2.7 через vLLM, подключить S3 и загрузить туда тестовые логи, а также передать модели технический контекст из S3 и сохранить сформированный отчет обратно в бакет.

Читать далее

Источник: habr.com