Почему оперативный долг, долг на возврат средств и долг на оценку незаметно меняют риски, связанные с ИИ в бизнесе?

Викрам Венкат

В течение последних двух десятилетий технический долг означал устаревшую архитектуру, неряшливый код и плохо поддерживаемую документацию. В эпоху ИИ это определение уже недостаточно, поскольку причины сбоев стали более тонкими и часто нелинейными. Системы ИИ создают новые уровни технического долга, которые существуют на протяжении всего процесса обработки запросов, моделей и зависимостей данных, что делает эти уровни менее заметными, сложнее поддающимися измерению и зачастую более опасными, чем традиционный долг.

Кризис, скрывающийся на виду у всех.

Сложности систем искусственного интеллекта и связанные с ними сбои хорошо задокументированы. Исследование Массачусетского технологического института 2025 года показало, что 95% проектов в области ИИ не доходят до стадии внедрения или не приносят пользы. Аналогичное исследование S&P Global Market Intelligence показало, что 42% компаний отказались от нескольких инициатив в области ИИ в 2025 году — резкое увеличение по сравнению с 17% в предыдущем году. Приводятся различные причины этих неудач, но большинство из них указывают на плохо спроектированные и внедренные системы, которые сложны в управлении и имеют множество трудноконтролируемых точек отказа, что приводит к быстрому накоплению «долга» в области ИИ.

Традиционная техническая задолженность была локализована в кодовой базе, и ошибки, как правило, легко воспроизводились. Следовательно, ошибки можно было легко выявить во время тестирования и исправить путем перепроектирования кодовой базы. Однако долг в области ИИ гораздо более распределен, проявляясь в подсказках, моделях, конвейерах данных и всей связанной инфраструктуре. Он также более непостоянен: из-за вероятностной природы ИИ системы не всегда реагируют одинаково, что приводит к периодическим сбоям. Это значительно усложняет выявление рисков во время тестирования, а также создает необходимость в более непрерывном мониторинге даже после развертывания, чтобы предотвратить постепенное отклонение и ухудшение производительности.

Новые формы долга ИИ

Как правило, «долг искусственного интеллекта» проявляется в четырех новых формах, каждая из которых сопряжена со своим набором рисков.

Несвоевременная задолженность Наиболее наглядным примером является так называемый «спагетти-код». Он может включать в себя недокументированные изменения в подсказках, накопленные «быстрые» подсказки, приводящие к несоответствиям, пренебрежение контролем версий подсказок и «набивание подсказок» (встраивание лишних данных или контекста непосредственно в подсказки ИИ). Все это в совокупности превращает подсказки в нетипизированный, непротестированный код без контроля версий, что приводит к повышенной хрупкости и уязвимости.

Зависимость от моделей — еще одна все более распространенная форма долга в сфере ИИ. Большинство предприятий сегодня зависят от сочетания внешних моделей, разработанных ведущими поставщиками базовых моделей; приложения и агенты строятся на основе вызовов API к этим моделям. Следовательно, логика приложений теперь зависит от моделей, которые находятся вне основной системы и которые невозможно четко контролировать. По мере обновления моделей производительность меняется, и теряется воспроизводимость — запросы, настроенные для одной модели, могут давать сбои или работать плохо при переключении на другую модель, независимо от того, обновляется ли она от того же поставщика или от другого.

Сегодня большинство корпоративных решений на основе ИИ используют генерацию с дополненным контекстом (Retrieval-Augmented Generation, RAG), которая извлекает дополнительный контекст из корпоративных хранилищ данных. Проблема «долга поиска» (Retrieval Debt) Это следствие того, что в этих хранилищах содержатся некорректные данные, дублирующиеся документы и устаревшая информация. Это приводит к тому, что ИИ выдает технически правильные ответы, которые на самом деле устарели и больше не актуальны, что вызывает сбои в последующих процессах. В отличие от галлюцинаций, эти ошибки сложнее обнаружить, потому что они были правильными, возможно, даже до недавнего времени, и поэтому выглядят правильными для любого тестировщика.

Проблема «долга оценки» отражает отсутствие стандартизации в тестировании и мониторинге моделей и приложений ИИ. Хотя существуют эталонные тесты ИИ, они, как правило, ориентированы на узкие тесты и отражают результаты на определенный момент времени. В большинстве предприятий отсутствуют согласованные стандарты тестирования, эталонные наборы данных и мониторинг развертываний в реальном времени; пока нет аналога непрерывной интеграции/непрерывной доставки (CI/CD) для запросов. В результате руководители ИТ-отделов и технические директора не имеют четкого представления о производительности моделей и не могут отслеживать улучшения или ухудшение их работы.

Все это в дополнение к традиционным формам технического долга, которые по-прежнему проявляются в инструментах и системах, с которыми взаимодействуют, из которых считывают или в которые записывают данные приложения и агенты ИИ. Быстрый рост использования кода, сгенерированного ИИ (часто развертываемого без надлежащего тестирования), еще больше усугубляет несоответствия и низкую поддерживаемость традиционных кодовых баз.

Новые формы долга в сфере ИИ в сочетании с более ранними формами технического долга быстро накапливаются и создают масштабные риски, способные привести к катастрофическим сбоям во всей корпоративной среде. Решение этих проблем еще больше осложняется распределенным характером владения ИИ — большинство систем охватывают инженерные, продуктовые, информационные и бизнес-подразделения, что приводит к нечеткой ответственности при обнаружении ошибки.

В результате эти риски проявляются в виде растущих затрат на вычислительные ресурсы, неточностей в результатах работы ИИ и увеличения количества исключений, которые необходимо обрабатывать людям, что часто приводит к застою и провалу проектов из-за неясной оценки окупаемости инвестиций и отсутствия доверия со стороны пользователей.

Как предприятия могут предотвратить накопление долгов в области ИИ

Проблема «долга ИИ» не будет решена за счет «улучшенных» моделей — несмотря на высокую точность уже существующих моделей, процент ошибок остается высоким. Решение проблемы «долга ИИ» требует улучшения проектирования систем, интеграции, контроля и изменений в организационной культуре.

Во-первых, к подсказкам нужно относиться как к коду. Это включает в себя тщательный контроль версий, документирование и скрупулезное тестирование как до, так и после развертывания для всех возможных конфигураций подсказок. Передовые методы из традиционного мира программирования — такие как использование небольших блоков подсказок вместо больших блоков, заполненных подсказками, или сокращение использования жестко закодированных параметров — также могут помочь уменьшить «долг» ИИ.

Во-вторых, оценка должна быть интегрирована во всю инфраструктуру ИИ. Необходимо создать конвейеры непрерывной оценки, отражающие широкий спектр метрик, измеряющих как технические, так и бизнес-цели. Кроме того, следует интегрировать системы мониторинга ИИ для отслеживания качества выходных данных, частоты сбоев, дрейфа модели и дрейфа данных.

В-третьих, объяснимость должна быть включена по умолчанию во все результаты ИИ, чтобы компенсировать ограниченную воспроизводимость. Происхождение данных, используемые модели и выполненные шаги должны быть четко отслеживаемы, чтобы обеспечить возможность аудита результатов и внесения исправлений в случае каких-либо системных ошибок.

Для этого необходимы четкие программы сокращения долга в сфере ИИ и соответствующие бюджеты, аналогичные предыдущим волнам инвестиций в безопасность или модернизацию облачных технологий. Инициатива должна исходить от руководителей высшего звена (CXO) и ключевых лидеров, чтобы предотвратить дорогостоящие доработки в будущем.

Заключение: Своевременно предотвратить проблему.

Внедрение ИИ в корпоративной среде — это не просто статический код; это живые системы, взаимодействующие со всей корпоративной инфраструктурой. В результате, определяющей задачей в агентном предприятии будет не создание или развертывание интеллектуальных систем, а их поддержка для обеспечения постоянной надежности в реальных условиях эксплуатации.

Предприятия, которые стремятся заблаговременно выявлять и устранять «долг» в области ИИ еще на этапе проектирования, с наибольшей вероятностью создадут устойчивые платформы ИИ, обеспечивающие значительное долгосрочное повышение производительности во всей организации.

Викрам — главный специалист в Cota Capital, где он инвестирует в технологические и высокотехнологичные компании на ранних стадиях развития.

Добро пожаловать в сообщество VentureBeat!

Наша программа гостевых публикаций — это площадка, где технические эксперты делятся своими знаниями и предоставляют нейтральные, непредвзятые аналитические материалы по искусственному интеллекту, инфраструктуре данных, кибербезопасности и другим передовым технологиям, формирующим будущее предприятий.

Узнайте больше о нашей программе гостевых публикаций — и ознакомьтесь с нашими рекомендациями, если вы заинтересованы в написании собственной статьи!

Подпишитесь, чтобы получать самые свежие новости!

Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.

VB Daily AI Weekly AGI Weekly Еженедельник по безопасности Еженедельник по инфраструктуре данных Мероприятия VB Все они

Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.

Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.

Источник: venturebeat.com