Cohere выпустила компактную VLM для документов и скриншотов Cohere Labs…

Cohere выпустила компактную VLM для документов и скриншотов

Cohere Labs выложила North Micro Vision — зрительно-языковую модель всего на 2,4 млрд параметров. Это самая маленькая VLM в линейке компании, но с важной особенностью: она работает с изображениями в исходном разрешении.

Обычно картинки перед подачей в модель сжимают, и вместе с этим теряются мелкий текст, таблицы, подписи на графиках и прочая боль офисной жизни. Здесь пропорции сохраняются, а верхняя планка соответствует странице A4, отсканированной при 200 dpi.

Поэтому модель целят не в «опиши красивую картинку», а в более практичные сценарии:
— документы
— таблицы
— графики
— формы
— скриншоты
— интерфейсы

Размер тоже играет на руку: North Micro Vision проще дообучать под конкретную предметную область, а квантованные версии, по словам Cohere, смогут работать не только на сервере, но и на ноутбуках или устройствах мобильного класса.

Архитектура собрана из трёх ключевых частей. Зрительный энкодер на 400 млн параметров вырос из SigLIP 2 и удерживает исходное разрешение через 2D RoPE и обученные позиционные эмбеддинги. Языковая часть — собственная North Micro LLM на 2 млрд параметров, близкая по архитектуре к Command A+.

Самая интересная деталь — проектор между зрением и языком. Cohere не просто передаёт LLM один готовый набор визуальных признаков, а подмешивает эмбеддинги патчей с разных уровней энкодера в ранние слои языковой модели. В итоге картинка попадает в модель сразу на нескольких уровнях детализации — от мелких деталей до более общих признаков.

В тестах через VLMEvalKit модель сравнивали с восемью VLM размером от 1,6 до 5,1 млрд параметров. Сильнее всего она выступила именно там, где важны документы и визуальная структура:
— DocVQA: 0,921
— ChartQA: 0,808
— AI2D: 0,775
— RefCOCO: 0,732

Но универсальным гением её назвать нельзя. В общих знаниях и рассуждении модель слабее: на MMMU получила 0,329, худший результат в таблице, а на MMLU и MMLU-Pro уступила большинству соседей.

Модель доступна под Apache 2.0.