Как вырваться из «долины выбора» в сфере бизнес-аналитики

Почему Agentic BI угрожает всей профессии

Делиться

Введение

Панели мониторинга никогда не были вытеснены, потому что они работают в рамках «долины выбора» в сфере бизнес-аналитики.

«Долина выбора» описывает идеальное соотношение между сложностью проблемы и усилиями, которые мы готовы приложить для ее решения.

Например, критически важный для бизнеса вопрос о том, как формируется выручка и почему различные ее версии менялись с течением времени, может потребовать ручного исследования. Для этого может потребоваться глубокое изучение с помощью множества SQL-запросов, ручного записи результатов и отслеживания происхождения данных.

Это требует больших усилий и высокой точности.

Напротив, на простые вопросы, задаваемые на основе простых наборов данных, например, «Сколько регистраций я получил вчера?», можно ответить с помощью более простых методов, требующих меньших усилий, таких как базовый преобразование текста в SQL, как это реализовано в таких инструментах, как Thoughtspot.

В центре расположены панели мониторинга. Панели мониторинга предлагают решение средней сложности, требующее умеренных усилий. Они способны отвечать на множество вопросов и использовать данные для объяснения аномалий и прогнозирования тенденций. Они не помогают выявлять новые закономерности, но помогают донести уже полученные данные.

Когда какой-либо вопрос задают достаточно часто, он становится достойным создания информационной панели и мгновенно превращается из сложного, разового, предоставляемого вручную запроса в нечто более простое и воспроизводимое.

Agentic Analytics предлагает новый способ поиска и предоставления аналитической информации — это преобразование текста в SQL. Благодаря этому новому способу, запросы средней сложности теперь могут обрабатываться мгновенно.

Такие инструменты, как Hex, интегрируют память в свои платформы, а это значит, что даже сложные запросы в сочетании с памятью позволяют Text-to-SQL решать сложные задачи.

Это изменит необходимое соотношение усилий и сложности и переосмыслит наше представление об аналитике. Давайте посмотрим, как именно.

Объяснение «долины выбора» в бизнес-аналитике

Ниже представлена фотография Долины Выбора.

Это описывает компромисс между скоростью и точностью, который определяется характером запроса или получаемой информации. При прочих равных условиях, наиболее важные вопросы требуют наивысшей степени точности, что, в свою очередь, оправдывает более трудоемкие (требующие больших усилий) методы.

Это примерно то же самое, что сказать: вы можете купить вкусный сэндвич в гастрономе за 20 долларов или сходить в ресторан «11 Madison Park» за 500 долларов. Два разных продукта, два разных варианта, две разные цены. Приборные панели — это как обед в обычном ресторане. 100 долларов на человека, но не подходит для завидных холостяков из Нью-Йорка.

А теперь представьте, что открылся новый ресторан. Этот новый ресторан очень эксклюзивный. Еда невероятная; все продукты органические. Обслуживание превосходное. И туда ходит множество знаменитостей. Он очень популярен. Вы можете получить восхитительный обед из трех блюд за 40 долларов. Мы можем назвать его «Закусочная Хьюго».

На самом деле, это часть новой тенденции. У Хьюго огромная ресторанная империя. Есть Hugo's Diner, а также Casa Hugo, Chez Hugo, Hugo's Table и даже Hugo-San. В Hugo-San предлагают лучший омакасе в городе за 39,50 долларов.

Чем вы занимаетесь? Где вы обедаете? В Мэдисон-парке, 11, вдруг стало не так многолюдно. И это то, что происходит с BI.

Проще говоря, стоимость и скорость выполнения запроса с помощью современных технологий преобразования текста в SQL невероятно низки. Это означает, что практически нет причин когда-либо использовать что-либо другое, если, конечно, это не абсолютно необходимо. В любом случае, вы точно не переходите на более дешевые решения.

Да — иногда может потребоваться что-то сделать вручную. Просто на всякий случай. И точно так же, ничто так не подходит для романтического вечера (или вечера обмена данными?), как Dorsia.

Сдвигающаяся долина: планка для аналитики поднялась еще выше.

Представьте, что вам не нужно прилагать больших усилий для создания семантического слоя, и Text to SQL сможет надежно и воспроизводимо решать 95% ваших задач.

Аналитик становится практически супераналитиком. Ему будут задавать только действительно сложные вопросы. Вероятно, именно он изначально разработал семантический слой.

Цена точности значительно возросла. Чтобы что-то сделать вручную, лучше задать себе крайне важный вопрос.

Что это значит для аналитиков? В общем, то же самое, что и для инженеров-программистов. Теперь это означает, что доля действительно полезных людей значительно уменьшилась — разумеется, по меритократическому принципу.

Аналитик, не способный быть семантическим архитектором, через 12 месяцев станет бесполезен. Его заменят специалисты по анализу данных. А если они останутся на своих местах, значит, технические директора делают что-то не так и, вероятно, должны привлечь сервисных партнеров для помощи во внедрении семантического слоя.

Требования к кандидатам на работу в сфере аналитики только что повысились. На рынке появился новый конкурент — компания A. Gent. Как и в разработке программного обеспечения, — новички уходят, а на их место приходят опытные специалисты.

А что насчет стоимости токенов?

Интересный момент – стоимость токенов. С момента появления первых моделей стоимость токенов в целом снизилась на 95%. Стоимость вывода продолжает падать и, как ожидается, снизится еще на 95% в течение следующих нескольких лет.

Несмотря на это, такие компании, как Uber, быстро расходуют свои кредитные лимиты. В конце концов, кредиты — это весело. Клод вызывает привыкание. Максимизация токенов приветствуется.

Действительно, цена перспективных моделей существенно не снизилась. В 2023 году затраты по модели Клода составляли около 32 долларов за миллион токенов. Сейчас они по-прежнему составляют 25 долларов.

Фактически, ожидается, что использование токенов будет расти экспоненциально по мере усложнения систем — неясно, когда, если вообще когда-либо, появятся преимущества. Например, 1 миллион выходных токенов для Клода составляет около 25 долларов. Допустим, выполнение нескольких запросов через агента стоит 1000 токенов. Это означает, что стоимость запроса составляет 0,025 от 2,5 центов.

Если 10 000 человек будут выполнять одно из этих заданий в день в течение 365 дней в году, это обойдется в 91 000 долларов. Неплохо.

Если стоимость услуг аналитиков составляет, скажем, 10 аналитиков по 100 000 долларов каждый, то рентабельность инвестиций снова начинает выглядеть хорошо. Она выглядит еще лучше, если затраты на выводы снижаются, а они, безусловно, должны снижаться.

У меня есть подозрение, что предположение (1000 токенов на «анализ») занижено. Однако снижение затрат на вывод данных и совершенствование технологий неизбежно приведут к дальнейшему их снижению.

Например, предположим, что изначально агенту требуется много времени, чтобы понять, что когда отдел маркетинга говорит «покажите мне выручку», это означает другой набор вопросов, чем когда финансовый отдел говорит «покажите мне выручку».

После того, как это будет кодифицировано и реализовано воспроизводимо, количество токенов должно быть минимальным. Это должно стать панелью управления, постоянным запросом или, возможно, даже навыком агента. Нам не нужен миллион выходных токенов, когда люди задают одни и те же вопросы каждую неделю.

И, конечно же, люди, как правило, задают похожие вопросы с течением времени.

Поэтому я оптимистично оцениваю стоимость токенов . Хотя сейчас на рынке неизбежно наблюдается странный момент, когда стоимость вывода результатов, вероятно, слишком высока, я считаю, что она снизится. Количество токенов, необходимых для получения надежных и воспроизводимых результатов, также уменьшится по мере того, как люди будут создавать более надежные и воспроизводимые системы.

Какие поставщики решений для бизнес-аналитики выигрывают, а какие проигрывают?

Здесь играет роль несколько факторов:

1. Сила агента
2. Позиционирование на рынке
3. Размер и поместье

Эффективность агента (агентская аналитика)

Само собой разумеется, что эффективность агента имеет решающее значение. В настоящее время существует лишь небольшое количество компаний, обладающих мощными аналитическими агентами.

1. Лайтдаш
2. Омни
3. Шестиугольник
4. ТекстQL

Все эти компании добиваются успеха по разным причинам. Lightdash имеет тесную интеграцию с семантическим слоем dbt. Omni, будучи бывшей компанией Looker, обладает собственной инфраструктурой и очень хорошо разбирается в этой области. Hex имеет невероятную агентскую инфраструктуру и память, а TextQL — это просто одна из тех вещей, в которую нужно поверить, попробовав её на практике.

Стоит отметить, что у хранилищ данных тоже есть свои версии этого. Snowflake Cortex Intelligence и Databricks Genie — это продукты, в разработку которых вложено много средств. Если они окажутся достаточно хорошими, клиенты будут их использовать.

Позиционирование на рынке

Не каждый поставщик решений для бизнес-аналитики может всерьез задумываться об этих факторах. Например, Tableau продолжит получать доход, работая через Salesforce. Его успех будет определяться лояльностью клиентов к Salesforce.

Автономные инструменты бизнес-аналитики без конкурентных преимуществ окажутся в затруднительном положении. У Sisens, Qlik и Look практически нет причин продолжать пользоваться их услугами, если они не смогут разработать более совершенный уровень агентной аналитики — и у них нет «старшего брата» в совете директоров, который бы за ними присматривал.

Такие компании, как Sigma, которые исторически были очень близки к компаниям вроде Snowflake, теперь напрямую с ними конкурируют. Поэтому они оказались в непростой ситуации, пытаясь определить, кто сможет создать лучшего аналитика данных на основе ИИ.

Размер и поместье

Некоторые компании могут просто обладать слишком большими размерами и обширными ресурсами, чтобы их можно было полностью заменить. Например, Tableau, Sigma и Power BI имеют огромные ресурсы, которые сложно легко вывести из эксплуатации.

Если дашборды надежно выполняют свою функцию, они останутся. Помните — дашборды существуют в «долине выбора». Это потому, что переход на известный, надежный дашборд все равно потребует меньше усилий, чем формулирование вопроса, ввод его в окно чата, ожидание, запрос на построение графиков и так далее.

Это означает, что компании, внедрившие дашборды, скорее всего, сохранят их. Однако следует ожидать сильного ценового давления, поскольку агентная бизнес-аналитика вытеснит модели ценообразования, основанные на количестве пользователей.

Вывод — BI консолидируется в течение 3 лет.

Логическим выводом является дальнейшая консолидация.

Благодаря искусственному интеллекту создание информационных панелей становится исключительно простым.

Переход от подхода «странного» к «проницательному» в сфере бизнес-аналитики означает, что соотношение затрат и эффективности между агентной аналитикой, панелями мониторинга и ручной работой кардинально изменилось.

На практике модели потребления, основанные на использовании, напрямую противоречат устаревшим моделям ценообразования, основанным на количестве пользователей, если не по структуре, то как минимум по стоимости. Хотя компании могут быть готовы платить небольшую абонентскую плату за такой инструмент бизнес-аналитики, как Hex, они, безусловно, не готовы платить 5000 долларов за возможность создания дашбордов Tableau.

Подробнее о консолидации читайте здесь –> Заключительное путешествие современного стека данных

При этом компании будут напрямую конкурировать с крупнейшими, наиболее капитализированными и наиболее ориентированными на исследования компаниями в этой сфере: гипермасштабными компаниями и поставщиками хранилищ данных. Нет причин не использовать такие инструменты, как Snowflake Cortex Intelligence и Databricks Genie, если они достаточно хороши.

Это означает, что отрасль продолжит консолидироваться вокруг агентов бизнес-аналитики и аналитики данных. Рынок будет становиться все более стандартизированным, если независимые поставщики не смогут продолжать создавать все более качественные продукты быстрее, чем склады смогут их догнать.

В Orchestra мы создаём агентский слой для инженеров. Следите за обновлениями, чтобы узнать больше.

Хьюго Лу. Все материалы от Хьюго Лу.

Источник: towardsdatascience.com