Использование моделей языка машинного зрения для понимания документов: пример Qwen 3 VL

Узнайте, как можно использовать модели языка машинного зрения для выполнения сложных задач по пониманию документов.

Делиться

Модели языка машинного зрения (VLM) — это мощные модели, способные вводить как изображения, так и текст, а также выдавать текстовые ответы. Это позволяет нам извлекать визуальную информацию из документов и изображений. В этой статье я расскажу о недавно выпущенном Qwen 3 VL и о мощных возможностях VLM.

Qwen 3 VL был выпущен несколько недель назад, изначально с моделью 235B-A22B, которая является довольно большой. Затем была выпущена версия 30B-A3B, а недавно появились версии 4B и 8B с высокой плотностью. Цель этой статьи — осветить возможности моделей языка машинного зрения и рассказать об их возможностях на общем уровне. В качестве конкретного примера я буду использовать Qwen 3 VL, хотя существует множество других высококачественных VLM. Написание этой статьи никак не связано с Qwen.

Зачем нам нужны модели языка видения

Модели языка машинного обучения необходимы, поскольку альтернативой является использование OCR и передача OCR-текста в LLM. Это приводит к нескольким проблемам:

• OCR не идеален, и магистрам права придется иметь дело с несовершенным извлечением текста.
• Вы теряете информацию, содержащуюся в визуальном расположении текста.

Традиционные OCR-системы, такие как Tesseract, уже давно играют важнейшую роль в обработке документов. OCR позволяет нам вводить изображения и извлекать из них текст, обеспечивая дальнейшую обработку содержимого документа. Однако традиционные OCR далеки от совершенства и могут испытывать трудности с такими проблемами, как мелкий текст, перекошенные изображения, вертикальный текст и так далее. Если результат OCR неудовлетворителен, у вас возникнут трудности со всеми последующими задачами, независимо от того, используете ли вы регулярные выражения или LLM. Передача изображений непосредственно в VLM, а не OCR-текста в LLM, таким образом, гораздо эффективнее для использования информации.

Визуальное расположение текста иногда критически важно для понимания его смысла. Представьте пример на изображении ниже: флажки подчёркивают релевантный текст, некоторые флажки отмечены, а некоторые — нет. В таком случае каждому флажку соответствует текст, причём релевантным может быть только текст рядом с отмеченным флажком. Извлечение этой информации с помощью OCR и LLM — сложная задача, поскольку невозможно определить, к какому тексту относится отмеченный флажок. Однако решение этой задачи с использованием моделей языка машинного зрения тривиально.

Я отправил изображение выше Qwen 3 VL, и он ответил мне так, как показано ниже:

На основании предоставленного изображения отмечены следующие документы: — **Документ 1** (отмечен знаком «X») — **Документ 3** (отмечен знаком «X») **Документ 2** не отмечен (он пустой).

Как видите, Qwen 3 VL легко и правильно решил проблему.

Источник: towardsdatascience.com