Почему дипломированные юристы повреждают ваши документы при делегировании полномочий?

Анализ нескольких причин, по которым может происходить разрушение структурного содержания при обращении к магистрам права с просьбой выполнить для нас сложное редактирование документов.

# Коррупция при делегировании полномочий

Мы вступаем в новую эру ИИ, в которой взаимодействие превращается в делегирование задач . Пользователи не просто общаются с ИИ, который отвечает на их вопросы: они все чаще делегируют долгосрочные задачи — от редактирования исходного кода до форматирования профессионального текста или даже ведения бухгалтерского учета. Поэтому они беспрецедентно доверяют системам ИИ в вопросах сохранения целостности файлов, таких как документы, при многократном взаимодействии.

Однако недавнее исследование выявило проблему. При делегировании задач большой языковой модели (LLM) она может незаметно искажать переданные ей документы. Чтобы разобраться в этой проблеме, ученые, проводившие это исследование, результаты которого мы обобщили, разработали строгую систему оценки под названием «DELEGATE-52». Этот бенчмарк охватывает 52 профессиональные области: от юридического текста до программирования на Python, нотной записи и кристаллографии.

Авторы протестировали в общей сложности 19 различных моделей LLM, используя интеллектуальный метод моделирования, основанный на подходе «кругового возврата», когда ИИ запрашивал определённое редактирование, а затем получал точную обратную инструкцию для отмены изменений. В идеальном сценарии модель должна была бы вернуть исходный документ в его первоначальном виде — полностью нетронутым. Проверка на практике: даже самые умные модели, такие как Gemini Pro, Claude Opus и GPT-5, способны испортить 25% содержимого исходного документа после 20 взаимодействий; более слабые модели могут приблизиться к 50%.

# Почему модели повреждают ваши документы

Давайте проанализируем несколько причин, по которым может происходить описанное ранее явление структурного распада содержимого. Исследователи выявили несколько причин этого явления:

// 1. Накопление ошибок

Как и в традиционной «игре в телефон», мелкие ошибки, допускаемые магистрами права, могут незаметно накапливаться и становиться всё более существенными. Одна правка может добавить несколько редких, локализованных ошибок, но последовательность сложных правок может в долгосрочной перспективе привести к усугублению проблемы и резкому ухудшению качества документа с течением времени.

// 2. Слабые модели удаляют, умные — галлюцинируют

В исследовании выявлено поразительное изменение в том, как различные типы моделей дают сбои. Более слабые модели, как правило, приводят к удалению: случайному удалению контента, что делает проблему заметной после нескольких взаимодействий из-за очевидного уменьшения общего объема документа. Однако в передовых моделях LLM корень проблемы заключается не в удалении, а в искажении: они сохраняют общий «вид и стиль» документа, даже поддерживая почти неизменное количество слов, но незаметно допускают опечатки, изменяют или заменяют фактическую информацию вымыслами, которые все еще звучат правдоподобно. Ирония заключается в следующем: чем умнее модель, тем сложнее обнаружить ее искажающее поведение, поскольку конечный результат на первый взгляд выглядит вполне легитимным.

// 3. Перегрузка контекстом и отвлекающие факторы

В условиях неструктурированного доступа — при наличии большого количества контекстной информации или избыточного количества прикрепленных документов — модели с трудом сохраняют структурную целостность информации. По мере увеличения размера документа или включения большего количества «отвлекающих файлов» в контекст запроса, степень ухудшения качества резко возрастает, модель теряет контроль над точными деталями и заполняет пробелы на основе прогностической логики. Модель перестает придерживаться исходного текста, поскольку ей проще просто угадывать.

// 4. Важность знакомства с предметной областью

Ещё одна причина, по которой модели, как правило, ухудшают качество документов в сложных взаимодействиях, включающих делегирование, связана с характером сценария использования и тем, насколько хорошо модель с ним знакома.

Не все файлы одинаково ухудшаются в задачах, основанных на делегировании. Согласно исследованию, LLM-ы хорошо работают в высокоструктурированных программных областях, таких как исходный код Python. Однако при решении задач, связанных исключительно с обработкой естественного языка или узкоспециализированным пространственным форматированием, они быстро теряют строгую внутреннюю логику, необходимую для сохранения целостности файлов.

# Помогает ли Agentic AI?

Даже когда LLM-ы модернизируются путем наделения их инструментами для работы с агентами — такими как возможность выполнения кода или прямого чтения и записи файлов — проблема повреждения и утраты документов, основанная на делегировании, не исчезает. Фактически, дополнения для работы с агентами практически ничего не делают для предотвращения проблемы, которая возникает в самом ядре архитектуры трансформеров, лежащей в основе LLM-ов. Необходимо переосмыслить подход к проверке задач ИИ в долгосрочной перспективе. До тех пор использование LLM-ов в качестве полностью неконтролируемых редакторов документов остается рискованным предприятием.

Иван Паломарес Карраскоса — лидер, писатель, спикер и консультант в области искусственного интеллекта, машинного обучения, глубокого обучения и магистратуры. Он обучает и направляет других в применении ИИ в реальном мире.

Источник: www.kdnuggets.com