Qwen3-VL теперь можно запускать локально

Хорошая новость для тех, кто хочет сильный мультимодальный стек без облака:

— Qwen3-VL-235B можно поднять на 128 ГБ unified memory (динамическое 4-bit). Это уже уровень SOTA в СМ b OCR.

— Qwen3-VL-2B спокойно выдает ~40 токенов/сек на 4 ГБ ОЗУ.

Плюс:

— есть фиксированный chat-template

— полная поддержка тонкой настройки и RL

— готовые блокноты через Unsloth (бесплатно)

— экспорт в GGUF, так что можно кормить всё это локальным рантаймам

Документация: docs.unsloth.ai/models/qwen3-vl

Источник: vk.com

Источник: ai-news.ru