Вышла новая модель: Qwen 3.8 27B

https://huggingface.co/Qwen/Qwen3.8-27B

Кратко:

• Размер модели относительно небольшой, довольно быстро работает на карточках с 24+ GB VRAM.

• «Понимает» изображения и видео

• по некоторым бенчмаркам — лучше чем Opus 4.6

• контекст: 262K, с помощью YARN можно увеличить до 1M

Так как большинство используют llama.cpp для запуска, то кванты можно взять вот тут:

https://huggingface.co/unsloth/Qwen3.8-27B-GGUF

Поддерживается MTP (спекулятивное предсказание)

Я тестировал на RTX 5090 (32GB VRAM).

Квант UD-Q6_K_XL:

• помещается контекст только 48k

• скорость генерации: 100 т/с

Квант UD-Q5_K_XL:

• помещается контекст только 125k

• скорость генерации: 120 т/с

Команда для запуска:

llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_XL —host 0.0.0.0 —port 8080 —fit off —gpu-layers all —gpu-layers-draft all —ctx-size 48000 —top-p 0.95 —top-k 20 —temp 1.0 —min-p 0.00 —repeat-penalty 1.0 —spec-type draft-mtp

Если вы запускаете на RTX 3090 / RTX 4090 (24GB VRAM), то вам надо будет брать квант поменьше и / или квантовать контекст и / или частично выгружать в обычную память.

Вот тут выложили специальный квант для запуска на карточках с 16GB VRAM:
https://huggingface.co/cHunter789/Qwen3.8-27B-i1-IQ4_KS_KT-GGUF
Я этот квант не пробовал. Если кто попробует — отпишитесь к комментариях.

Что можно сделать, чтобы поместить побольше контекста на GPU?

• квантизировать KV cache: —cache-type-k, —cache-type-v
  Народ пишет что это может делать модель «тупее», особенно в кодинге. Я не пробовал.

• не использовать MTP
  Если убрать опцию –-spec-type draft-mtp, то при кванте UD-Q5_K_XL, помещается на 46k больше контекста.
  При этом скорость генерации токенов становится в ~2 раза медленнее.

• не использовать слой для работы с изображением. Его можно вообще не грузить: —no-mmproj, или грузить в обычную память вместо VRAM: —no-mmproj-offload.
  При кванте UD-Q5_K_XL, помещается на 19k больше контекста.
  В обычной памяти обработка изображений в 5 раз медленнее на процессоре с 16 ядрами и в 10 раз медленнее на процессоре в 8 ядрами. На скорость работы с текстом эти опции не влияют, — только на работу с изображениями. Например запрос с одним изображением обрабатывается 13 секунд на GPU, но 76 секунд на 16-ядерном AMD 9950x3d.

На RTX 5090 (32GB VRAM), при кванте UD-Q5_K_XL, без слоя для работы с изображениям, без MTP, помещается контекст 190k.

По личным ощущениям, качество модели очень хорошее, — модель стала заметно «умнее». Думаю, что на сегодня, это лучшая модель, которую с адекватной скоростью можно запустить у себя на компьютере.

В Docker можно запустить вот так:

services: llama: image: ghcr.io/ggml-org/llama.cpp:server-cuda12-b10423 container_name: llama devices: — «nvidia.com/gpu=all» ports: — «8080:8080» environment: — NVIDIA_VISIBLE_DEVICES=all — NVIDIA_DRIVER_CAPABILITIES=compute,utility volumes: — ~/.cache:/root/.cache entrypoint: [«./llama-server»] command: > —host 0.0.0.0 —port 8080 —ctx-size 125000 —fit off —gpu-layers all —gpu-layers-draft all -hf unsloth/Qwen3.8-27B-GGUF:UD-Q5_K_XL —spec-type draft-mtp —top-p 0.95 —top-k 20 —temp 1.0 —min-p 0.00 —repeat-penalty 1.0

Цена

Интересно, что у самой Qwen это модель пока недоступна по API:
https://modelstudio.console.alibabacloud.com/ap-southeast-1

OpenRouter предлагает эту модель по довольно немаленькой цене: $0.45 / $3.20 per 1M:
https://openrouter.ai/qwen/qwen3.8-27b

Источник: habr.com