Новые модели, те же преимущества на Hugging Face

Несмотря на использование более современных архитектур, DharmaOCR превзошла Mistral OCR4 и Unlimited-OCR на бразильском португальском языке благодаря специализации в предметной области и целенаправленному обучению. В этой статье представлены доказательства и механизм, лежащие в основе этого преимущества.

Три месяца назад мы опубликовали статью о DharmaOCR и выложили в открытый доступ одну из моделей . Цель была конкретной: оптическое распознавание символов, разработанное для бразильского португальского языка.

Процесс обучения модели был построен в два этапа. Первый этап представлял собой контролируемую тонкую настройку, основанную на обширной коллекции файлов на португальском языке из различных источников, форматов и уровней сложности. На этом этапе веса модели были согласованы со специфическим словарём, синтаксисом и структурой документов бразильского португальского языка — концентрируя репрезентативную способность на целевом языке, а не распределяя её по более широкому многоязычному пространству. На втором этапе применялась оптимизация прямого предпочтения (Direct Preference Optimization, DPO): вместо обучения только на правильных транскрипциях, модель обучалась на сравнительных данных о предпочтениях между конкурирующими результатами, что позволяло ей последовательно выбирать лучший вариант при выводе. Этот этап решал другую проблему: не точность, а стабильность. Подавляя режимы сбоев, которые приводят к тому, что генеративные модели выдают повторяющиеся или непоследовательные результаты, DPO сократила время и стоимость вывода, а также существенно повысила надёжность результатов, получаемых моделью в производственной среде.

В результате была получена модель, которая достигла наивысшего показателя качества извлечения данных с наименьшим уровнем дегенерации на эталонном тесте, ориентированном на португальский язык. Оба этапа были необходимы. Этап тонкой настройки позволил развить компетентность в предметной области; этап DPO обеспечил сохранение этой компетентности в условиях, когда модели, как правило, дают сбои.

—

Модели оптического распознавания текста (OCR) быстро развиваются. Однако пробелы, которые изначально послужили мотивацией для разработки DharmaOCR (в качестве извлечения информации из сложных документов и в стабильности модели в производственных условиях), не устранены. Напротив, по мере изменений в этой области они стали еще более показательными.

Распространение мультимодальных генеративных моделей сделало оптическое распознавание текста на основе языковых моделей широко доступным, а последовавшая за этим волна усовершенствованных вариантов оптического распознавания текста отражает скорость этого процесса. Однако это распространение не изменило фундаментального характера технологии. Каждая система оптического распознавания текста, построенная на основе генеративной модели, является вероятностной. Ошибки транскрипции — неотъемлемая переменная этой вероятностной технологии. Различия между моделями заключаются в количестве и типе совершаемых ими ошибок. Это определяется двумя факторами: структурой модели (ее архитектурой и количеством параметров) и тем, как эти параметры были обучены для решения задачи.

Архитектура и количество параметров определяют верхний предел того, чему может научиться модель. Обучение определяет, как распределяется эта способность.

Именно здесь специализация становится структурным вопросом, а не вопросом проектных предпочтений. Когда модель обучается на ограниченной предметной области — одном языке, ограниченном типе документа, конкретной задаче — все её параметры предназначены для этой конкретной задачи. Когда модель обучается для охвата более широкого диапазона предметных областей — например, многоязычная модель, обрабатывающая N языков — те же параметры должны быть распределены по всем из них. Распределение нелинейно: принцип суперпозиции нейронов означает, что отдельные параметры могут кодировать несколько признаков одновременно. Но разделение реально, и его последствия реальны. Модель, охватывающая более широкий спектр областей, выделяет меньше ресурсов на любую её часть.

DharmaOCR был обучен учитывать это ограничение в обратном порядке. Модель не предназначена для использования в качестве наилучшего варианта для других языков и никогда не задумывалась как таковая. Взамен каждый параметр, доступный сети, мог быть ориентирован на специфическую лексику, морфологию и орфографические особенности бразильского португальского языка — максимально целенаправленное использование ресурсов модели для данной области.

Эта концентрация является структурной основой преимущества перед многоязычными и более широкими предметными моделями. Преимущество не зависит от наличия более крупной архитектуры или более сложной процедуры обучения, чем у конкурентов — новые архитектуры и новые методы обучения улучшают возможности любой модели. Оно зависит от того, куда направлены эти ресурсы: на одну предметную область, а не распределены по многим.

Три месяца спустя появились новые модели. Вопрос о том, насколько оправдана специализация, когда эти модели новые и более функциональные, — это уже другой вопрос.

Спустя три месяца после публикации статьи о DharmaOCR, две новые модели распознавания текста (OCR) привлекли значительное внимание исследовательского сообщества: Mistral OCR4 и Unlimited-OCR. Обе представляют собой подлинный технический прогресс — новые методы обучения, новые наборы данных и высокие результаты на нескольких языках в ряде сравнительных тестов. Это модели, которые повышают конкурентоспособность систем распознавания текста.

Когда мы протестировали оба варианта на эталонном тесте DharmaOCR — системе оценки, разработанной исключительно для португальского языка, — результаты оказались однозначными.

DharmaOCR набрал 0,925 балла. Mistral OCR4 набрал 0,798 балла. Unlimited-OCR набрал 0,7587 балла.

Разница существенная. Mistral OCR4 примерно на 13 баллов отстает от DharmaOCR; Unlimited-OCR отстает более чем на 16 баллов. Оба сервиса были выпущены после нашей модели, и оба получили значительную исследовательскую поддержку. В задаче, где DharmaOCR изначально был ориентирован исключительно на португальский язык, преимущество в специализации измеримо и значительно.

Ключевым выводом является эталонный показатель. Далее следует объяснение того, почему разрыв принимает именно такую ​​форму.

—

Анализ сложных португальских документов позволяет точно определить, где многоязычные модели часто дают сбой. Эссе ENEM (бразильский национальный экзамен для старшеклассников) сочетают рукописный текст с лексикой, именами собственными и культурными отсылками, характерными для бразильского португальского языка. Это именно тот тип документов, где языковая подготовка приносит свои плоды.

Figure 1: ENEM essay manuscript used in benchmark evaluation with outputs of the each model. Misreads marked in red.

Программа Mistral OCR4, протестированная на документах подобного рода, транскрибировала имя Чико Буарке (одного из самых известных бразильских музыкантов и поэтов) как «Chico Barque». Unlimited-OCR передала то же имя как «chico bique». При обнаружении фразы «O Brasil não exclui, assimila» («Бразилия не исключает, она ассимилирует», цитата Чико Буарке, встроенная в тот же документ), Unlimited-OCR выдала: «a dose de chico bique, ‘o Brasil no exclu, eliminila.»

Это не случайные ошибки. Модель, недостаточно знакомая с бразильским португальским языком, не терпит неудачу произвольно — она терпит неудачу именно в тех словарях и именах собственных, которые отличают бразильский португальский от более широкого многоязычного корпуса. Чико Буарке — не малоизвестный автор; это имя общепризнано на национальном уровне. Систематическое искажение его произношения в различных результатах — это не единичный случай. Это диагностический признак: свидетельство того, куда не было направлено обучение модели.

DharmaOCR, протестированный на тех же документах, корректно обрабатывает эти случаи. Причина проста: обучение модели было сосредоточено на этом языковом пространстве, ориентируя ее ресурсы на лексику и распределение имен собственных, характерные для бразильского португальского языка, а не распределяя их по многим языкам одновременно.

Примеры иллюстрируют эталонный показатель, а не заменяют его. Эталонный показатель определяет величину разрыва; примеры показывают, почему он сосредоточен в распознавании специфических языковых особенностей, а не в общих возможностях.

Однако точность извлечения — это лишь один из аспектов эффективности производства. Стабильность в условиях визуальных затруднений — это другой аспект, и с точки зрения производственной деятельности именно его несоответствие является наиболее важным.

Когда генеративная модель сталкивается с документом, который она не может четко распознать — мелкий шрифт, ухудшенное качество сканирования, плотный рукописный текст — она сталкивается с неопределенностью входного сигнала. Модели, обученные в основном на задачах прогнозирования следующего токена, сталкиваются здесь со специфической уязвимостью: когда визуальный сигнал становится неоднозначным, модель может продолжать генерацию на основе ранее изученных шаблонов, а не на основе исходного документа. Результатом является деградация текста — повторяющийся, бессвязный и семантически оторванный от страницы результат.

При отображении документа с мелким шрифтом Mistral OCR4 выдает результат, никак не связанный с написанным текстом.

Figure 2: small-font document

Figure 3: DharmaOCR output and Mistral OCR4 degenerated output

Это не низкокачественная транскрипция первоисточника. Это провал совершенно иной категории.

Операционные последствия отличаются от последствий ошибки транскрипции. Неправильная транскрипция ошибочна по своей сути — она связана с исходным документом, и ошибку в принципе можно выявить и исправить. Дегенеративный вывод не имеет такой связи. Его нельзя исправить, потому что исправлять нечего. Для последующих процессов, зависящих от структурированного вывода OCR — классификации документов, извлечения информации, рабочих процессов обеспечения соответствия требованиям — дегенеративный вывод не является неточными данными. Это структурно непригодные данные. Эффективность, которую должна обеспечивать автоматизация, сводится на нет именно в тот момент, когда вывод перестает быть информацией.

Mistral OCR4 и Unlimited-OCR — это хорошие модели, обладающие значительными техническими усовершенствованиями. Описанное здесь поведение, приводящее к дегенерации, не определяет их характеристики; оно указывает на конкретное условие сбоя, которое не учтено в их текущей программе обучения для данной области. Вопрос в том, как будет выглядеть конвейер обучения, разработанный для решения этой проблемы.

—

В DharmaOCR ответ находится на этапе DPO.

Контролируемая тонкая настройка концентрирует ресурсы модели на целевой области — этапе, который формирует описанное выше лингвистическое выравнивание. Но SFT обучается на предсказаниях отдельных токенов: модель учится создавать правильный следующий токен, учитывая предшествующий ему контекст. В условиях визуальной сложности это создает условие, приводящее к вырождению. Если ранний токен в выходных данных отклоняется от исходного документа, каждое последующее предсказание обусловлено этим отклоняющимся состоянием, и выходные данные продолжают отклоняться. Циклы повторения и несогласованные последовательности являются неотъемлемой характеристикой этого контекста — они являются предсказуемым результатом объективной оптимизации шаг за шагом без учета согласованности полного извлечения.

DPO обучается на другом сигнале. В то время как SFT обучается по токенам, DPO обучает модель на основе качества полных выходных данных — обучая ее различать конкурирующие ответы на основе согласованности полного извлечения, а не точности отдельных предсказаний. Эффект является стабилизирующим: в документах, где визуальная сложность в противном случае вызвала бы дрейф, модель с меньшей вероятностью выберет расходящийся путь, поскольку в процессе обучения учитывались выходные данные, потерявшие согласованность на уровне извлечения.

Результат подтверждает то, что показал первоначальный тест: более низкие показатели деградации наряду с более высокой точностью извлечения данных на тех же документах, где модели без этого этапа обучения теряют согласованность.

Этот эталон устанавливает то, что верно сегодня. Он менее точен в отношении того, что будет верно через два года.

Вполне возможно — и вероятно — что новые модели в конечном итоге превзойдут нынешнюю DharmaOCR даже в бразильском португальском языке. Архитектуры улучшатся. Методы обучения улучшатся. Наборы данных расширятся. Область движется к повышению возможностей на каждом уровне, и нет оснований ожидать, что эта траектория остановится. Это ожидаемо, и это приветствуется.

С каждым новым поколением архитектурных решений меняется потолок абсолютной производительности. Неизменной остается структурная логика, определяющая, какие системы наиболее близки к своему пределу в данной области.

Доступные ресурсы — вычислительные мощности, параметры, обучающие данные — конечны. Их необходимо куда-то направить. Система, которая направляет их в одну область, извлечет из них больше пользы в этой области, чем система, распределяющая те же ресурсы между многими областями. Это соотношение сохраняется независимо от того, насколько совершенна универсальная модель. Разрыв между специалистом и универсалом может увеличиваться по мере совершенствования архитектур. Структурная динамика не меняется на противоположную. Мы более подробно рассмотрели этот принцип в предыдущей статье о том, почему специализация продолжает давать преимущество по мере развития систем ИИ (« Почему специализация неизбежна »).

Именно это определяет подход Dharma к будущему. Цель состоит не в том, чтобы защитить эталонную позицию текущей модели. Она заключается в том, чтобы оставаться на переднем крае новых технологий — новых архитектур, новых методов обучения, новых подходов к выравниванию и оценке — и адаптировать их к одной и той же цели: специализированной системе для распознавания текста на бразильском португальском языке, которая максимально эффективно использует имеющиеся ресурсы, с минимальными затратами и кратчайшим временем обработки.

Более совершенные инструменты не препятствуют специализации. Они расширяют её возможности.

Три месяца назад мы показали, что концентрация обучения модели на конкретной области дает измеримое преимущество перед универсальными системами, включая более новые и лучше обеспеченные ресурсами. Это преимущество сохранилось. Тот же принцип определит дальнейшее развитие DharmaOCR — не за счет сохранения достигнутого прогресса, а за счет применения любых достижений в этой области к той сфере, которая остается неизменной.

Источник

• Кардосо, Габриэль Пимента де Фрейтас и др. «DharmaOCR: Специализированные модели для обработки структурированного оптического распознавания текста, превосходящие по производительности базовые модели с открытым исходным кодом и коммерческие модели». Препринт arXiv:2604.14314 (2026).

Дополнительная литература

• Почему специализация неизбежна — структурные и теоретические основы аргумента о специализации. Теория оптимизации, эволюционная биология, конкурентные рынки и машинное обучение сходятся в одном и том же предсказании: при ограниченных ресурсах и давлении отбора приспособленность превосходит широту.
• Специализация важнее масштаба: стратегический фактор, который игнорируется в большинстве решений о закупках ИИ — эмпирическое и стратегическое дополнение к этой статье. Если теорема «бесплатного обеда не бывает» объясняет, почему специализация предсказывается на структурном уровне, то в этой статье рассматриваются доказательства того, что она превосходит масштабы на практике, и почему ей по-прежнему уделяется недостаточно внимания в большинстве решений о закупках ИИ.
• Деградация текста: режим сбоя в работе, который большинство бенчмарков не отслеживают — задокументированный режим сбоя, возникающий, когда языковые модели функционируют за пределами своей эффективной области применения.
• Прямая оптимизация предпочтений за пределами чат-ботов — как методы оптимизации предпочтений распространяются на специализированные области за пределами разговорного ИИ — конкретное воплощение стратегии, ориентированной на предметную область, которая, как утверждается в этой статье, структурно предсказывается.