7 барьеров между командами, работающими с данными, и самовосстанавливающейся архитектурой данных

Что нужно создать команду разработчиков данных с помощью ИИ, чтобы сделать самовосстанавливающуюся архитектуру данных практической реальности?

Делиться

Введение

Для примеры применения ИИ в инженерии данных, созданные для одного: исправление конвейера обработки данных. Инженер раскрывает Claude Code, предоставляет несколько журналов и отправляет запрос на слияние.

Здесь основополагающее значение имеет семантику. Когда люди говорят «самовосстановление», они имеют в виду «самоуправление». Ключ к успеху в ИИ определяется не ручным вмешательством и взаимодействиями, а их отсутствием.

Мечта команды, работающая с данными, — это система, в которой конвейеры и рабочие процессы обработки данных, как правило, функционируют без какого-либо ответственного человека. Однако на пути к этому заветному будущему защита от препятствий.

Агентам необходим контекст — исправление конвейера может быть вызвано временной ошибкой, изменением схемы выше постоянного процесса или чем-то совершенно неконтролируемым, например, тем, что человек нанес урон столу. Опыт дает инженерным командам знания о том, как исправлять подобные ошибки; контекста агентам не хватает.

Также станут очевидными изменения мышления. Старая схема «Новая ветка, слияние, повторный запуск» явно медленная и не подходит для работы с агентами. Если мы не изменим наши подходы и не позволим агентам также объединить запросы на слияние, видимо, потребуются серьезные изменения в мышлении.

Наконец, данные плохо «разветвляются». Такие проекты, как Lake FS, обещали сделать «Git для данных» общедоступным, но этого не произошло. Я годами писал о клонировании с нулевым копированием, но оно до сих пор не получило широкого распространения. получение кода между данными и данными неочевидны.

В этой статье мы рассматриваем 7 переменных на пути от типичных современных стеков обработки данных до идеала самовосстанавливающихся/автономных конвейеров обработки данных. Контекст и воспоминания о неудачах

Конвейеры обработки данных могут выводить из строя по множеству причин, и мы можем регулировать их в соответствии с требованиями для системы искусственного интеллекта. Мы можем разделить несколько основных типов:

• Проблемы работы
• Проблемы с кодом кода
• Проблемы с данными
• Временные или дополнительные проблемы

Как правило, для исправления данных требуется знание системы. Например, доступ к кластеру Kubernetes компании Acme может иметь только г-н Боб, единственный, кто имеет доступ к его специальному ключу доступа, скрытому в AWS Secrets Manager с нестандартным заголовком. Искусственный интеллект не знает о ключе Боба, поэтому не получится исправить кластер.

Аналогично, аналитик Софи, возможно, знает, что в компании Widgets Incorporated результат будет просто следствием тот факт, что данные о продажах приводятся в нескольких валютах, и манипулируют цифрами, чтобы они были на 10% выше, чем вчера. Искусственный интеллект не знает, как обрабатывать цифры.

Искусственный интеллект также не может знать, что для обработки ошибок во внешнем API достаточно просто воспроизвести в период с 2:47 до 3:12 утра.

Это нелепые примеры, но они иллюстрируют тот факт, что знания для исправления ошибок различных типов часто обнаруживаются в головах отдельных людей. Недостаточно говорить только о «контексте метаданных». Хотя сбор информации о происхождении, логах, коде, других и письменных цифрах, по-прежнему, необходим, ИИ на самом деле довольно хорошо справляется с тем, чтобы просто это выяснить.

«Откуда я мог знать это?»

В конце концов, только люди знают, где захоронены тела.

Барьер 2 | Эластичная инфраструктура

Рассматривая конкретные вопросы, охватываемые волокитой, я ввожу термин «эластичная» инфраструктура. «Эластичная инфраструктура» не только масштабируется, но и имеет API для ее управления.

Экземпляр EC2 не будет эластичным, поскольку он не масштабируется выше уровней уровня.

Кластер Kubernetes на заблокированной машине не будет гибким при подключении к облаку, поскольку не будет API для управления.

Причина в том, что для восстановления после сбоев ИИ требуется доступ к инфраструктуре.

Поставщики SaaS-услуг должны получить доступ это дорого. Поставщики SaaS-услуг, как правило, за определенную плату снимают с команды, занимающейся обработкой данных, бремя управления инфраструктурой. Это очень благоприятный для ИИ подход, но он не соответствует шестому барьеру, к которому мы еще обращаем внимание.

Препятствие 3 | Операционные агенты и качественные данные

Пит из финансового отдела снова перезаписал таблицу Google Sheets по планированию поставок и операций в США. Международные прогнозы не работают, и ваш план поставок не работает. В us_forecast_dec_v1 нет строк, а forecasts_agg устарела.

Искусственный интеллект сообщает, что коннекторы в порядке, но данных нет. Это ничего не может сделать.

Какое же здесь решение? Давайте сыграем в викторину. Я дам вам несколько идей, и вы выберите правильный ответ.

• Вариант 1: ИИ создает галлюцинации в прогнозах.
• Вариант 2: позволить ИИ создавать прогнозы в вашей базе данных, а затем повторно запустить конвейер обработки данных в Google Sheets.
• Вариант 3: Искусственный интеллект приказывает Питу загрузить эти чертовые прогнозы!
• Вариант 4 : существует резервный пул арендованных людей. Когда такой конвейер выходит из строя, ИИ дает указание резервным людям лично беспокоить Пита, пока он сам не починит конвейер вручную. Не все варианты хороши, от плохих до абсурдных. На самом деле, вариант 4 вообще не требует ИИ, а скорее чего-то, что называется командной работой.

  Качественные данные, как всегда, являются важнейшим фактором для инженерных данных. Командам, работающим с данными, следует чаще задавать на собеседованиях такой вопрос: «Насколько хороши ваши данные?». Это настолько важный фактор, определяющий качество жизни, что, к счастью, почему он уделяет так мало внимания. Например, предположим, что была заключена новая сделка на 10 миллионов долларов — возможно, правильная сумма составляет 1 миллион долларов. Агент с ключом API Salesforce может легко исправить данные и перезапустить процесс обработки.

  Препятствие 4 | Git для данных

  Приведенный выше пример поднимает критический вопрос: «Должны ли агенты ИИ администраторы видеоматериалы?»

  Если по своей основе вы работали с некоторыми условиями Salesforce — я вас понимаю. Но эта функция разработана для того, чтобы избежать описанной выше ситуации. Принял, например, менеджер по работе с клиентами заключил крупную ступень на 10 миллионов долларов. В этом случае, безусловно, гораздо лучше, если агент проведет тестовую версию Salesforce, а не будет работать?

  

  Выше представлено схематичное изображение того, как будет работать процесс с использованием случайного режима работы с Git для данных. Ниже приведена упрощенная версия.

  

  В нижних случаях II нужна новая ветка для выполнения своей работы. Эта ветка должна сохранять клоны данных без резервных копий, использовать подход Git для работы с данными, и у вас должна быть возможность эффективно «подменить» данные в конце.

  

  Без такой структуры мне трудно представить, как можно будет доверять ИИ в решениях проблем, не возникающих при этом кошмаре в сфере управления, когда у него обеспечивается доступ к записи к производственным данным на планете.

  В этом отношении такие компании, как Snowflake, оказываются в таком положении, поскольку они давно используют такие функции, как клонирование без копирования. Motherduck также поддерживает эту функцию. Однако явным победителем является айсберг.

  Iceberg поддерживает путешествия во времени, откат изменений и использование Git для работы с данными. Такие компании, как Bauplan, создают вычислительные движки на основе Iceberg, что обеспечивает удобство и дружелюбность ко всему опыту работы. Искусственный интеллект должен стать мощным катализатором развития Iceberg.

  Барьер 5 | Распространение по всей области

  В архитектуре с ограничением самовосстановления возникает проблема, когда речь заходит о совместимости.

  В 2025 году Fivetran и dbt много говорили об открытой инфраструктуре данных — это не то же самое, что инфраструктура данных с открытым исходным кодом, скорее подход, который, на мой взгляд, лучше называть модульной архитектурой данных, при которой разные функции получают разные инструменты. Пример приведен ниже.

  

  Нет смысла в самовосстанавливающейся архитектуре, если базовые компоненты ее не различимы. Для корректной работы шаблонов поставщики базовых услуг должны предоставлять соответствующие API, поддерживающие все данные статьи, а также собственные функции самовосстановления. столбцы и разновидности остаются прежними, но значения меняются. Возможно, теперь валюта отображается как в иенах, так и в долларах США, но два столбца currency и local_value остаются постоянными.

  Правильным решением может быть внесение изменений в задание ELT в его промежуточной среде, проверка теперь части цикла на основе этих промежуточных данных, замена корректных данных, а затем, наконец, переключение на получение ошибочно работоспособного задания ELT.

  Многие инструменты ELT просто не предоставляют API для этой функции. Однако, если бы вы сделали это с помощью скрипта на Python, который контролирует вас, проблем бы не возникло. Это создаст огромное давление на рынок современных игроков ETL, вынуждая их менять свою структуру или прекращать свою деятельность.

  Это огромный барьер между современными модульными циклами и древней самовосстанавливающейся автономной архитектурой. Единственным внешним достижением было бы, если бы сами системы стали самовосстанавливаться независимо друг от друга, потому что, как можно надеяться, если все части системы самовосстанавливаются, то и вся система в целом тоже.

  6-й барьер | Песочницы агентов и новые оркестраторы

  Логическое место для запуска агентов, исправляющих ошибки, — это инструмент оркестровки.

  Это связано с тем, что инструмент оркестрации содержит несколько агентов компоненты.

  1. Возможность запуска любого кода и воспроизведения любого направленного ациклического графа с любым набором произвольных параметров.
  2. Связи с различными частями систем, которые могут быть случайным агентом (помните, оркестратор процессов, поэтому у него есть доступ к различным элементам).
  3. Встроенная система оповещений с мониторингом, восстановлением и масштабируемой инфраструктурой.

  Однако существует одна огромная проблема — это безопасность.

  Такие компании, как Cloudflare, крупные агентские песочницы. Это связано с тем, что модели компании Fable (которая недавно была заблокирована) нуждаются в песочницах, поскольку они могут выходить за свои пределы. Это особенно актуально при атаках с использованием ресурсных запросов.

  

  Устаревшие инструменты оркестровки просто не переносятся для работы самими агентами таким образом. Риски безопасности огромны. Не говоря уже о том, что рабочая нагрузка II может привести к конфликту с нагрузкой на обработку данных!

  Совершенно очевидно, что агентам требуется доступ к платформе оркестровки. Будь то Open AI и Anthropic, обеспечивающие оркестраторы, оркестраторы нового поколения с песочницами для агентов или какую-либо форму взаимодействия между ними — здесь чем-то придётся пожертвовать. Причины что безопасность.

  Препятствие 7 | Стандарты для прокси-серверов и агентов определения

  Один из подходов к обеспечению безопасности — настройка прокси-сервиса для агентов. Вместо установки секретов в изолированной среде агент получает доступ к небольшому количеству инструментов/MCP.

  Таким образом, прокси-сервис — это объем, который имеет доступ к внешним системам. Это означает, что даже если агент станет жертвой воздействия с внедрением импульса, его возможности будут ограничены конечными точками в MCP, к которым он имеет доступ.

  

  Как именно должен выглядеть этот прокси-сервис, не совсем понятно. MCP — это крупная платформа. Cloudflare запустил Code Mode. Если вам нужно получить доступ к различным конечным точкам, настройка серверов MCP не является простой или очевидной. Подобные сервисы существуют уже сегодня, но в новых SaaS-инструментах, таких как Foundry.

  Также необходимо разработать структуру для агентов-проектировщиков. В приведенном выше примере создание одного агента, требующего подключения к сотовым системам, может быть нецелесообразным, поскольку контекст, используемый для доступа к сотням MCP, может быть слишком большим.

  Подводя итоги | Единая панель управления для ИИ

  В достижении вышеперечисленных целей команды, работающие с данными, создать единый интерфейс для управления искусственным интеллектом.

  • Контекст : предоставляет агентам информацию для решения любых проблем.
  • Гибкая инфраструктура : обеспечивает основу для решения проблем с трубопроводами.
  • Качественные данные : повторяют человеческий фактор при вводе данных.
  • Git для данных: обеспечение надежности и надежность к ИИ.
  • Массовые реализации : заслуги крах отраслей.
  • Песочницы агентов и новые оркестраторы : отказ от конфиденциальной конфигурации.
  • Прокси-серверы : делайте все возможное для обеспечения безопасности.

  Этот единый интерфейс позволяет агентам ИИ работать в безопасном режиме. Они будут выполнять задачи тогда, когда это необходимо, и будут выбирать контекст для достижения желаемого результата. class=»wp-block-paragraph»> Команды, занимающиеся обработкой данных и стремящиеся внедрить автономную архитектуру, будут оказывать давление на существующие источники, требуя от них поддержки совместимости.

  Это усугубит консолидацию, поскольку традиционные закрытые экосистемы, такие как Salesforce, SAP и ServiceNow, будут внедрять собственные агентские продукты и студии. данные, способы контроля всего процесса от начала до конца, но не обеспечивают соответствия.

  Хьюго Лу. Все материалы от Хьюго Лу.

  Источник: towardsdatascience.com

  Похожие записи

  • Tesla опровергает утверждения об использовании автопилота после смертельной аварии в Техасе.
  • Гайд по безопасности вайб-кодинга: что сделать, чтобы не слить данные в прод
  • Делаем науку на ровном месте