Архив рубрики ~Полезное~

Cohere выпустила компактную VLM для документов и скриншотов Cohere Labs…

Cohere выпустила компактную VLM для документов и скриншотов Cohere Labs…
File 1085

Cohere выпустила компактную VLM для документов и скриншотов

Cohere Labs выложила North Micro Vision — зрительно-языковую модель всего на 2,4 млрд параметров. Это самая маленькая VLM в линейке компании, но с важной особенностью: она работает с изображениями в исходном разрешении.

Обычно картинки перед подачей в модель сжимают, и вместе с этим теряются мелкий текст, таблицы, подписи на графиках и прочая боль офисной жизни. Здесь пропорции сохраняются, а верхняя планка соответствует странице A4, отсканированной при 200 dpi.

Поэтому модель целят не в «опиши красивую картинку», а в более практичные сценарии:
— документы
— таблицы
— графики
— формы
— скриншоты
— интерфейсы

Размер тоже играет на руку: North Micro Vision проще дообучать под конкретную предметную область, а квантованные версии, по словам Cohere, смогут работать не только на сервере, но и на ноутбуках или устройствах мобильного класса.

Архитектура собрана из трёх ключевых частей. Зрительный энкодер на 400 млн параметров вырос из SigLIP 2 и удерживает исходное разрешение через 2D RoPE и обученные позиционные эмбеддинги. Языковая часть — собственная North Micro LLM на 2 млрд параметров, близкая по архитектуре к Command A+.

Самая интересная деталь — проектор между зрением и языком. Cohere не просто передаёт LLM один готовый набор визуальных признаков, а подмешивает эмбеддинги патчей с разных уровней энкодера в ранние слои языковой модели. В итоге картинка попадает в модель сразу на нескольких уровнях детализации — от мелких деталей до более общих признаков.

В тестах через VLMEvalKit модель сравнивали с восемью VLM размером от 1,6 до 5,1 млрд параметров. Сильнее всего она выступила именно там, где важны документы и визуальная структура:
— DocVQA: 0,921
— ChartQA: 0,808
— AI2D: 0,775
— RefCOCO: 0,732

Но универсальным гением её назвать нельзя. В общих знаниях и рассуждении модель слабее: на MMMU получила 0,329, худший результат в таблице, а на MMLU и MMLU-Pro уступила большинству соседей.

Модель доступна под Apache 2.0.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Цифровой терроризм без границ: как Узбекистан предлагает защитить Центральную Азию от новых угроз Архив рубрики ~Лента новостей~ Искусственный интеллект выявляет ранние признаки риска развития рака кожи. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Архив рубрики ~Лента новостей~ Новая формула помогает РНК-вакцинам выдерживать высокие температуры. Архив рубрики ~Лента новостей~ Нейросеть знает продукт, но не связывает его с производителем: как бренд теряет собственную известность Новости робототехники Это простое изменение предотвращает застревание роев роботов. Архив рубрики ~Лента новостей~ Стартап Corma, специализирующийся на кибербезопасности и искусственном интеллекте, достиг оценки в 1 миллиард долларов примерно за 3 месяца. Архив рубрики ~Лента новостей~ Свой нативный клиент для AI-агентов за 3 дня: зачем делать харнес и как устроен BB на iPhone и Mac Архив рубрики ~Лента новостей~ Как мы с ИИ искали антиэнтропию и куда он меня завёл Архив рубрики ~Лента новостей~ «Уэбб» обнаружил «запрещённый» сигнал, который раньше не наблюдали ни во Вселенной, ни даже в лаборатории Архив рубрики ~Лента новостей~ ДНК с обложки юбилейного издания «Эгоистичного гена» оказалась закручена в неправильную сторону. Версию с ошибкой выпустили к 50-летию с момента первой публикации книги Архив рубрики ~Лента новостей~ Anthropic научила Claude участвовать в видеозвонках и выполнять задачи прямо во время встречи Архив рубрики ~Лента новостей~ Глубокая грамотность против нейрослопа Архив рубрики ~Лента новостей~ Где была команда безопасности Nvidia? Архив рубрики ~Лента новостей~ Цифровой терроризм без границ: как Узбекистан предлагает защитить Центральную Азию от новых угроз Архив рубрики ~Лента новостей~ Искусственный интеллект выявляет ранние признаки риска развития рака кожи. Новости робототехники Компания Waymo приостановила поездки по автомагистралям по всей стране после распоряжения Департамента транспортных средств Калифорнии. Архив рубрики ~Лента новостей~ Новая формула помогает РНК-вакцинам выдерживать высокие температуры. Архив рубрики ~Лента новостей~ Нейросеть знает продукт, но не связывает его с производителем: как бренд теряет собственную известность Новости робототехники Это простое изменение предотвращает застревание роев роботов. Архив рубрики ~Лента новостей~ Стартап Corma, специализирующийся на кибербезопасности и искусственном интеллекте, достиг оценки в 1 миллиард долларов примерно за 3 месяца. Архив рубрики ~Лента новостей~ Свой нативный клиент для AI-агентов за 3 дня: зачем делать харнес и как устроен BB на iPhone и Mac Архив рубрики ~Лента новостей~ Как мы с ИИ искали антиэнтропию и куда он меня завёл Архив рубрики ~Лента новостей~ «Уэбб» обнаружил «запрещённый» сигнал, который раньше не наблюдали ни во Вселенной, ни даже в лаборатории Архив рубрики ~Лента новостей~ ДНК с обложки юбилейного издания «Эгоистичного гена» оказалась закручена в неправильную сторону. Версию с ошибкой выпустили к 50-летию с момента первой публикации книги Архив рубрики ~Лента новостей~ Anthropic научила Claude участвовать в видеозвонках и выполнять задачи прямо во время встречи Архив рубрики ~Лента новостей~ Глубокая грамотность против нейрослопа Архив рубрики ~Лента новостей~ Где была команда безопасности Nvidia?

Оставить комментарий