Сервис Trunk Tools сократил время проверки документов с 60 до 10 дней, отказавшись от моделей общего назначения.

Тарин Пламб

В большинстве отраслей используются далеко не идеально отлаженные SaaS-базы данных; в реальности это некрасивые документы, проприетарные схемы, неявные рабочие процессы и длительные задачи, с которыми большинство универсальных моделей с трудом справляются.

Это побудило компанию Trunk Tools, занимающуюся управлением строительными проектами, создать специализированную трехслойную архитектуру — восприятие, семантика, агенты — на основе высокодетализированных данных для поддержки высокоточной и актуальной отраслевой автоматизации.

По словам Транка, разработанная ими специализированная система сократила циклы проверки с месяцев до дней, предотвратила дорогостоящие ошибки на местах и предоставила автономным агентам возможность анализировать миллионы страниц документации.

«Наша цель заключалась в том, чтобы взять данные из разрозненных систем, предварительно обработать их, структурировать, преобразовать в граф знаний на основе нашей онтологии, а затем обучить модели искусственного интеллекта», — сказала Сара Бухнер, основатель и генеральный директор Trunk, бывшая плотница.

Для разработчиков в других отраслях подход Trunk может послужить образцом для преобразования хаоса данных в готовые к использованию агентами, специфичные для каждой отрасли рабочие процессы.

В каких случаях программы магистратуры общего профиля дают сбой в анализе отраслевых данных?

Программы магистратуры базового уровня, несмотря на свою эффективность, ориентированы на широту знаний, а не всегда на глубину.

«Магистранты, обучающиеся по универсальным программам, привыкли быть неплохими во всем, поэтому они слабы в узкоспециализированных областях», — говорит Крити Фаудждар, старший менеджер по продуктам, работающая в сфере инфраструктуры ИИ, агентного ИИ, безопасности и платформ для магистерских программ. Например: редкие термины, рассуждения, специфичные для конкретной области, негласный контекст, который любой специалист «просто знает».

Веб-разработчик, разработчик приложений и программного обеспечения Себастьян Де Болливье согласился с тем, что самым большим узким местом является надежность данных, которые «насыщены жаргоном, аббревиатурами и имеют специфический формат».

«Модель класса GPT-4 может понять французский юридический договор, но не сможет правильно определить конкретные ссылки на статьи, которые юристам необходимо указать», — сказал он.

Кроме того, как отметила Фаудждар, наиболее ценные корпоративные данные так и не попали в предварительное обучение. Они хранятся во внутренних системах и в проприетарных форматах. «RAG немного помогает, — сказала она. — Но это просто предоставление более качественных данных модели, которая все еще не может должным образом рассуждать в данной предметной области».

Предварительное обучение на данных из предметной области имеет решающее значение; затем предприятиям следует доработать модель на основе хороших примеров задач и создать собственные системы оценки. «Несколько тысяч примеров от реальных специалистов лучше миллионов случайных, зашумленных примеров», — сказал Фаудждар.

Использование смешанных экспертов (MoE) позволяет обеспечить специализацию без резкого увеличения затрат на логические выводы. Сочетание RAG с тонкой настройкой также хорошо работает; RAG обрабатывает длинный фактический путь, а тонкая настройка исправляет лексику и рассуждения.

Де Болливье указал на преимущество гибридных стеков: универсальная модель для рассуждений и организации, а также меньшая по размеру, точно настроенная модель (или плотный поиск по тщательно отобранному корпусу) для извлечения информации, специфичной для конкретной предметной области. Он посоветовал: «Не нужно настраивать модель, чтобы сделать ее «умнее» в отношении конкретной предметной области, нужно настраивать ее, чтобы сделать ее более надежной для конкретного формата вывода, необходимого для вашего рабочего процесса».

Де Болливье отметил, что эти методы, безусловно, находят применение в строительстве и других отраслях, таких как юриспруденция и здравоохранение. В этих отраслях «высокая вероятность ошибок, а стандартизированные форматы документов обеспечивают очевидную окупаемость инвестиций в обучение специалистов в данной области».

Фауджар отметил одно важное замечание: специализированные модели часто перестают работать за пределами своей области знаний, поэтому они зачастую бесполезны за пределами своей компетенции (если только их не переобучить).

Восприятие, семантика, агенты: внутри трехслойной структуры Trunk

В узкоспециализированных областях, таких как строительство, «загрузка данных» в большие языковые модели (LLM) неэффективна, — говорит технический директор Trunk Амриш Капур. Это связано с тем, что большинство трансформеров — это вероятностные модели: получив изображение, они сообщают, что это «вероятно» дерево или «вероятно» ребенок, играющий рядом с деревом.

Это делает их недостаточными для высокоточной символической интерпретации. Например, в строительной документации символ шириной 2 миллиметра имеет совершенно разное значение в зависимости от места его размещения.

Кроме того, из-за ограничений контекста вероятностные модели испытывают трудности с долговременной памятью проекта. «Я имею в виду не контекстное окно из нескольких элементов, — сказал Капур. — Я говорю о долговременной памяти, которая охватывает месяцы и годы, потому что именно такой продолжительности обладают некоторые из этих проектов».

Вместо этого трехуровневая система Trunk разбивает рабочие процессы на следующие этапы:

• Восприятие (чтение и извлечение данных из неструктурированных документов, таких как PDF-файлы, чертежи или сканированные изображения).

• Семантический/графический слой (для осмысления данных и понимания их взаимосвязей).

• Магистратуры и агенты находятся на вершине.

Строительные чертежи, как правило, носят символический характер, — сказал Бухнер. Дверь не всегда обозначается как «дверь». Иногда это просто дуга на стене, которую опытный глаз учится читать годами практики.

«Слой восприятия — это то, что учит ИИ читать этот язык», — сказала она. Затем семантический слой придает этой информации смысл; например, связывает дверь с чертежом, который ее детализирует, спецификацией, которая ее регулирует, и специалистом, который ее устанавливает. Это помогает ответить на важные вопросы инженеров проекта: не «есть ли здесь дверь?», а «создаст ли эта дверь проблемы в будущем?»

В строительстве, в частности, это изменение имеет значение, поскольку стоимость решения проблемы со временем возрастает. «Проблема, выявленная на этапе проектирования, относительно недорога в устранении, — сказал Бухнер, — тогда как та же проблема, выявленная на строительной площадке, может обойтись в десятки тысяч долларов».

На высоком уровне система определяет тип документа и начинает извлекать информацию на основе его содержимого (чертежи, таблицы, текст абзацев). Затем эти данные «преобразуются и дополняются» на платформе, что запускает рабочие процессы агентов, такие как связи в графе знаний и рабочие процессы конечных пользователей.

Например, специалист может просмотреть архитектурный информационный бюллетень и создать визуальное сравнение старой и новой версий (отметив добавления и удаления), а затем составить письменное описание этих изменений простыми словами. Это помогает пользователям понять, что изменилось, и согласовать с партнерами обновленные цены и изменения в заказе.

Масштаб проблемы обработки данных в строительстве.

«В строительных процессах «множественны неявные предположения и связи между данными из множества источников», — сказал Бухнер. — А объем неструктурированных данных «человечески невозможно» обработать или осмыслить».

Бухнер подсчитал, что среднестатистическое высотное здание генерирует около 3,6 миллиона страниц соответствующей документации. «Если распечатать это в стопку бумаг, она будет высотой с само здание».

Капур пояснил, что все три уровня стека Trunk — перцептивный, семантический и LLM — обучаются на «очень специфических наборах данных» от клиентов с «явными разрешениями» и автоматической разметкой/IP-адресами. Клиенты, которые не хотят, чтобы Trunk обучался на их данных, могут отказаться от этой функции.

Данные обезличиваются и агрегируются, а Trunk также собирает «огромное количество» размеченных данных с помощью других конвейеров, таких как 3D-моделирование зданий (BIM).

Компания Trunk заявляет, что поставляет только агентов, обеспечивающих точность около 95%. Команда поддерживает непрерывные процессы оценки на основе данных, полученных от клиентов и экспертов. Они также используют модель, в которой эксперты с магистерской степенью выступают в роли судей.

«Представление о том, что магистр права выступает в роли судьи, заключается в оценке того, насколько хорошо вы справляетесь со своей работой, как субъективно, так и объективно», — сказал Капур. Объективность может быть простой: «правильно» или «неправильно», но субъективность требует большей тонкости.

Например, при создании электронного письма, повествования или объяснения, модель LLM в качестве оценочной структуры может создать составной балл, или числовое значение, которое объединяет различные метрики и проверяет производительность или риск модели.

Однако, как отметил Бухнер, могут возникать проблемы, особенно связанные с задержкой; всякий раз, когда увеличивается вычислительная мощность базовых моделей, возрастает и риск возникновения задержки. Trunk поддерживает набор критериев оценки для объективного измерения задержки при внесении изменений в базовую инфраструктуру, агентов и вызовы API.

Затем, «прежде чем выпускать продукт для клиентов, мы убеждаемся, что незначительные изменения в пользовательском интерфейсе оправдывают повышение производительности», — сказал Бухнер.

От 60 до 10 дней: измеримая отдача

Платформа Trunk обеспечивает работу семи агентов искусственного интеллекта, специально разработанных для строительной отрасли, например, для анализа ответов на запросы информации (RFI), обзора заявок или проверки чертежей и проектной документации.

Например, специалист по оформлению заявок отмечает недостающую, противоречивую или не соответствующую требованиям информацию в технических характеристиках продукции и запросах информации. Хотя это важный этап в процессе строительства, «это крайне неудобный рабочий процесс», — сказал Бухнер, — потому что экспертам приходится сравнивать документы «с множеством других частей документов».

Но агент способен сделать это за считанные секунды, и, по словам Trunk, это сократило циклы подачи заявок с 50-60 дней до 10, «что имеет огромные последствия для сроков и финансов».

По словам Бухнера, система Trunk теперь позволяет этим агентам общаться напрямую друг с другом, что «очень интересно». Например, один агент проверяет архитектурный чертеж на точность, а затем автоматически передает его агентам, обрабатывающим запросы информации и задающим уточняющие вопросы.

«Если в чертежах есть проблемы, агент, ответственный за запросы информации, берет дело в свои руки и активно связывается с заказчиком для уточнения», — пояснил Бухнер.

Компания Trunk утверждает, что ее клиенты экономят от 20 до 40 минут на каждом вопросе, заданном на месте. Бухнер отметил, что пользователи на местах лучше всех знают, сколько времени отнимают поездки между офисными вагончиками, поиск проектной документации в разрозненных системах или распечатанных PDF-файлах, устранение несоответствий и последующее согласование действий с партнерами по проектам.

Компания Trunk заявляет, что ее клиенты сообщают о следующих дополнительных результатах:

• В среднем экономится 8 минут времени при поиске отдельных документов (проверка статуса, поиск местоположения, запросы количества).

• В среднем экономится 20 минут времени при стандартном оформлении ссылок (перекрестная ссылка на 2-3 раздела спецификации для получения ответа).

• В среднем экономится 40 минут времени при проведении исследований с использованием нескольких документов (составление списка и фильтрация запросов, установление взаимосвязей, анализ запросов на информацию и представленных документов по 4-6 документам).

• В среднем экономится 75 минут времени при выполнении сложных задач (создание запросов на информацию и других коммуникационных материалов, детальная перекрестная сверка документов, отслеживание изменений).

В одном случае сотрудник компании Trunk, занимавшийся проверкой чертежей, отметил, что несущая балка была сдвинута на 8,5 дюймов вверх. Однако архитектор это не задокументировал. Если бы это изменение не было замечено, руководителю проекта, вероятно, пришлось бы демонтировать и установить балку нужного размера заново, сказал Бухнер. Эта переделка добавила бы к бюджету 10 000 долларов или больше, и «безусловно, это повлияло бы на сроки».

Бухнер также привел другие примеры: агент указал на завышенные цены на 60 000 долларов без каких-либо обоснований со стороны субподрядчиков по ландшафтному дизайну; выявил необходимость герметизации камина перед установкой гипсокартона, что позволило сэкономить около 100 000 долларов на оплате труда, материалах и задержках; и указал на то, что для электрической двери требуется панель, которая не была указана в электрических чертежах.

Уроки для других отраслей

Подход Trunk к созданию агентов применим к любой отрасли, работающей с большими объемами неструктурированных, отраслевых данных. Разработчики, работающие в конкретных отраслях, должны понимать специфические проблемы обработки данных, с которыми сталкиваются их конечные пользователи, и создавать техническую инфраструктуру, способную преобразовывать неструктурированные данные в нечто, «что LLM сможет обрабатывать и понимать», — сказала Бухнер. «Только тогда можно будет установить связи между точками данных, которые в конечном итоге будут питать рабочие процессы агентов». В базовые модели вкладываются большие средства, поэтому предприятиям следует создавать модульные системы, которые смогут использовать сильные стороны различных моделей по мере их постоянного совершенствования, посоветовала Бухнер. Затем, «создавайте свое техническое преимущество там, где универсальные модели не вкладывают средства и не показывают хороших результатов», — сказала она.

Подпишитесь, чтобы получать самые свежие новости!

Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.

VB Daily AI Weekly Еженедельник AGI Еженедельник по безопасности Еженедельник по инфраструктуре данных Все они

Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.

Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.

Источник: venturebeat.com