$400B на маркетинговые тренды, с ключевыми словами: CAUSAL, BAYESIAN, A/B TEST, DOMAIN, SPC.

В «пузыре» искусственного интеллекта есть лазейка для выхода из него благодаря науке о данных.

Содержание

В то время как на разработку генеративного искусственного интеллекта тратятся 400 миллиардов долларов, пять классических навыков становятся самым дефицитным ресурсом в сфере технологий.

Делиться

bcc745dd43ff0bf2053db06b9db4b0ca
Изображение предоставлено автором.

Четыре года я занимался прогнозированием доходов от рекламы в размере примерно 50 миллиардов долларов, используя эконометрику, модели временных рядов и причинно-следственный анализ. Когда старший вице-президент спрашивал, насколько мы должны быть уверены в той или иной цифре, я не мог просто дать ему точечную оценку и пожать плечами. Мне приходилось количественно оценивать неопределенность, прослеживать причинно-следственную связь и объяснять, какие предположения могут привести к тому, что прогноз окажется неверным.

Вся эта работа не включала в себя использование большой языковой модели (LLM). Это было невозможно.

Если вы — специалист по анализу данных, который чувствует себя обделенным волной ИИ, эта статья поможет вам взглянуть на ситуацию под другим углом. Навыки, от которых отказывается отрасль, — это именно те навыки, которые становятся все более дефицитными, востребованными и высокооплачиваемыми. Пока все остальные гонятся за следующей базовой моделью, рынок незаметно переоценивает фундаментальные принципы.

В этой статье описаны пять конкретных навыков (я называю их «Анти-хайп-стеком»), объяснено, почему каждый из них сопротивляется автоматизации, и предложен 90-дневный план их развития. Но сначала — краткий обзор того, почему ажиотаж вокруг них нарастает.

Разрыв в 300 миллиардов долларов

В 2025 году крупные компании инвестировали почти 400 миллиардов долларов в капитальные вложения в инфраструктуру искусственного интеллекта. Фактическая выручка предприятий от ИИ? Примерно 100 миллиардов долларов. Это соотношение расходов и прибыли 4:1.

cea7d40b339c9b2bc245ea008538720b
Изображение предоставлено автором.

Исследование Национального бюро экономических исследований, проведенное в феврале 2026 года, показало, что 90% компаний сообщили об отсутствии измеримого влияния ИИ на производительность. Менее 30% генеральных директоров были удовлетворены результатами внедрения генеративного ИИ. А Gartner поместил генеративный ИИ в «долину разочарования».

Это не значит, что ИИ бесполезен. Это значит, что пузырь лопается по графику, как и любой технологический пузырь. Крах доткомов не убил интернет. Он убил компании, которые путали ажиотаж с соответствием продукта рынку. Выжившими (те, кто продавал книги и оптимизировал логистику) оказались те, кто был одержим измерениями, экспериментами и непривлекательной операционной строгостью.

Аналогичная коррекция происходит и в области науки о данных. И в условиях её сохранения выживут навыки, основанные на причинно-следственной связи, а не на корреляции.

Лодка, на которую все бросились забираться, набирает воду. Берег, который они покинули, выглядит все более и более твердым.

Набор навыков против ажиотажа

Пять навыков. Каждый из них контрцикличен (становится более ценным по мере спада ажиотажа), устойчив к автоматизации с помощью LLM (требует человеческого суждения, которое невозможно воспроизвести с помощью сопоставления шаблонов) и напрямую связан с бизнес-результатами, за которые руководители действительно платят.

Я не выбирал эти навыки из учебника. Это те умения, на которые я полагался в четырех отраслях (здравоохранение, розничная торговля, высшее образование, цифровая реклама) и на протяжении почти десяти лет практической работы. Технический стек практически не менялся между областями. Все изменилось благодаря умению выбирать, к каким из этих инструментов обращаться и когда.

053303aaffa661d5f6ca1aa6e0ee0c41
Путь ажиотажа имеет убывающую отдачу. Путь к устойчивому развитию характеризуется дефицитом предложения и растущим спросом.
Изображение предоставлено автором.

1. Причинно-следственный анализ: навык, позволяющий ответить на вопрос «Почему?»

Что это такое

Определение того, действительно ли X вызывает Y, а не просто коррелирует ли они. Инструментарий: рандомизированные контролируемые исследования (РКИ), метод разности разностей (DiD), прерванные временные ряды, инструментальные переменные, регрессионный разрыв и направленные ациклические графы (DAG).

Почему я считаю это навыком номер один

Однажды я использовал анализ прерванных временных рядов, чтобы выявить причинно-следственную связь между крупным рекламным мероприятием и прогнозами доходов от рекламы. Прогностическая модель показала, что мероприятие увеличило выручку. Однако причинно-следственная модель рассказала другую историю: примерно 40% этого кажущегося «увеличения» было нивелировано за счет соседних недель. Клиенты не тратили больше; они меняли время своих покупок. Этот единственный анализ изменил подход команды прогнозистов к моделированию рекламных мероприятий в будущем, повысив точность на 12% (что эквивалентно примерно 2 миллионам долларов в год в одной продуктовой вертикали).

LLM может описывать инструментальные переменные. Спросите ChatGPT, и вы получите исчерпывающий ответ из учебника. Но он не может выполнять рассуждения, поскольку причинно-следственное рассуждение требует понимания процесса генерации данных, вмешательства в переменные и рассуждений о контрфактических сценариях, которые никогда не встречаются ни в одном обучающем корпусе.

Рыночный сигнал

Опрос Causalens показал, что причинно-следственный анализ в ИИ является методом номер один, который руководители, работающие с ИИ, планируют внедрить: почти 70% организаций, использующих ИИ, внедрят причинно-следственный анализ к 2026 году. Организации, применяющие причинно-следственные методы в рекламе, сообщили о рентабельности инвестиций на 35% выше, чем те, кто использует таргетинг на основе корреляций.

Можно предсказать отток клиентов с точностью до 95%, но при этом так и не понять, как его снизить. Прогнозирование без учета причинно-следственной связи — это дорогостоящий способ наблюдать за происходящим со стороны.

2. Экспериментальный дизайн: за пределами базового A/B-тестирования

Что это такое

Разработка контролируемых экспериментов, позволяющих изолировать эффект конкретного вмешательства. Это выходит далеко за рамки разделения трафика пополам. Сюда входят многорукие бандиты, факторные планы, последовательное тестирование и (что крайне важно) квазиэкспериментальные методы для ситуаций, когда рандомизация невозможна.

Вот где начинается самое интересное.

Я наблюдал, как команды внедряли модели машинного обучения в различных розничных точках, которые показывали хорошие результаты на контрольных наборах данных, но терпели неудачу в производственной среде. Причина всегда была одна и та же: никто не планировал внедрение как полноценный эксперимент. Не было поэтапного развертывания. Не было сопоставленных контрольных групп. Не было предварительно зарегистрированных показателей успеха. Модель «работала» на исторических данных, но без экспериментальной структуры не было возможности отличить реальный рост от сезонных колебаний, систематической ошибки отбора или регрессии к среднему значению.

Провести t-тест на двух группах легко. А вот разработать эксперимент, учитывающий сетевые эффекты, эффект переноса и парадокс Симпсона? Для этого требуется обучение, которое большинство программ для анализа данных полностью пропускают. И это та часть, которую не сможет сделать ни один помощник по программированию на основе ИИ, потому что сложная задача заключается не в статистических вычислениях. Она состоит в том, чтобы убедить команду разработчиков продукта не включать определенную функцию в контрольную группу достаточно долго, чтобы измерить эффект.

Рыночный сигнал

Zalora увеличила коэффициент оформления заказа на 12,3% благодаря одному хорошо продуманному эксперименту с текстом на странице товара. PayU увеличила конверсию на 5,8% за счет тестирования удаления одного поля формы. Это не улучшения, достигнутые с помощью моделей машинного обучения. Это бизнес-результаты, полученные в результате тщательного экспериментального анализа.

3. Байесовское рассуждение: честная неопределенность

Что это такое

Методология для обновления убеждений по мере поступления новых данных, количественной оценки неопределенности и включения предварительных знаний в модели. На практике: байесовское A/B-тестирование, иерархические модели и вероятностное программирование (PyMC, Stan).

Почему я этому научился: из необходимости

Когда вы отвечаете за прогнозы выручки, которые затем передаются финансовому директору, точечная оценка — это не ответ. «Мы ожидаем $X» ничего не значит без «а вот диапазон, и вот что заставит нас пересмотреть прогноз». Я освоил байесовские методы, потому что частотные доверительные интервалы не работали. 95% доверительный интервал, охватывающий диапазон шире, чем весь квартальный целевой показатель, бесполезен для тех, кто принимает решения. Лицам, принимающим решения, нужно было апостериорное распределение: «Существует 75% вероятность того, что выручка окажется между A и B, и вот три предположения, нарушение которых приведет к изменению распределения».

Байесовское мышление требует принципиально иной ментальной модели по сравнению с частотной статистикой, которая доминирует в большинстве учебных программ. Вероятность представляет собой степени убежденности, а не долгосрочные частоты. Кривая обучения реальна. Но как только вы ее преодолеете, вы перестанете сообщать числа без диапазонов неопределенности и начнете давать людям то, что им действительно нужно для принятия решений.

Рыночный сигнал

Байесовские методы превосходно работают в условиях малого объема данных, где классические подходы оказываются неэффективными: клинические испытания с ограниченным числом участников, эксперименты с продуктами на ранних стадиях и моделирование рисков с неполными историческими данными. Они также необходимы для достоверной количественной оценки неопределенности — задачи, с которой модели машинного обучения, основанные на точечных оценках, справляются хуже всего.

В мире, переполненном прогнозами, сгенерированными искусственным интеллектом, самым дефицитным ресурсом является не очередной прогноз, а достоверное объяснение причинно-следственной связи с указанием доверительного интервала.

4. Моделирование предметной области: навык, который нельзя освоить на интенсивном курсе.

Что это такое

Перевод бизнес-контекста в математическую структуру. Понимание процесса генерации данных (как данные появились), определение правильной функции потерь (что именно вы хотите оптимизировать) и знание того, какие признаки являются причинами, а какие — следствиями.

Чему меня научили четыре отрасли

Я создавал модели в здравоохранении (обрабатывая миллионы записей о пациентах ежедневно), розничной торговле (прогнозируя продажи товаров в более чем 15 точках продаж), высшем образовании (процессы набора студентов) и цифровой рекламе (эконометрические модели для многомиллиардных потоков доходов). Python остался прежним. SQL остался прежним. Все изменилось, когда я понял, почему в феврале резко вырос уровень повторной госпитализации в больнице (сезон гриппа, а не сбой модели), почему прогноз спроса розничного продавца рухнул на 47-й неделе (каннибализация в Черную пятницу, а не изменение структуры распределения) и почему прогноз доходов от рекламы должен рассматривать ключевое событие как структурный сдвиг, а не как аномальное явление.

Инструменты искусственного интеллекта могут обрабатывать данные. Однако они не способны понять контекст, определяющий, является ли закономерность сигналом или артефактом. Это понимание приходит благодаря длительному опыту работы в конкретной отрасли и умению мыслить системно, а не в терминах наборов данных.

Рыночный сигнал

Экспертные знания в предметной области — вот почему специалист по анализу данных в здравоохранении или финансах зарабатывает на 25-40% больше, чем специалист широкого профиля с теми же техническими навыками. Модель редко является узким местом. Важно понимать, что именно модель должна оптимизировать.

5. Статистический контроль процессов: как определить, когда что-то действительно изменилось.

Что это такое

Мониторинг систем и процессов во времени для различения сигнала от шума. Контрольные диаграммы, анализ возможностей процесса и расследование первопричин. Первоначально применялся в производстве; теперь используется для мониторинга моделей машинного обучения, оценки состояния конвейеров данных и отслеживания бизнес-показателей.

Урок из производственной среды машинного обучения.

Однажды я помогал создавать конвейер обнаружения объектов для автоматизированного мониторинга товарных запасов в розничной торговле. Модель показала 95% точности обнаружения на тестовом наборе данных. Она была запущена в производство. Три недели спустя точность начала снижаться, и никто этого не замечал целый месяц, потому что не было уровня контроля процесса. Как только мы добавили контрольные диаграммы, отслеживающие распределение достоверности обнаружения, задержку вывода и метрики дрейфа признаков, мы смогли отличать сезонные перестановки на полках (шум) от реального ухудшения модели (сигнал). Разница: обнаружение проблемы на первой неделе по сравнению с пятой. В управлении запасами этот разрыв напрямую приводит к пустым полкам и потере дохода.

Машинное обучение и статистический контроль процессов (СПК) — это взаимодополняющие, а не конкурирующие инструменты. Каждая производственная система машинного обучения нуждается в СПК. Практически ни одна система его не имеет, потому что необходимые навыки востребованы в отделах промышленной инженерии, а не в программах по анализу данных.

Рыночный сигнал

Производственные компании, использующие статистический контроль процессов (SPC) в сочетании с машинным обучением, добиваются заметно более низкого уровня брака, выявляя аномалии процесса до того, как они распространятся. В технологической сфере мониторинг на основе SPC позволяет обнаружить ухудшение качества модели за несколько недель до того, как показатели точности укажут на проблему.

c78001b133b077add8b72b70b838e2bc
Структура иерархична. В основе лежат знания предметной области и мониторинг процессов; причинно-следственный анализ находится ближе всего к бизнес-результатам. Изображение предоставлено автором.

Почему программы LLM не могут заменить этот комплекс программ

Очевидное возражение: разве искусственный интеллект в конечном итоге не научится также строить причинно-следственные рассуждения?

В ближайшее время — нет. Причина носит структурный характер.

LLM-ы — это корреляционные механизмы. Они предсказывают следующий токен на основе статистических закономерностей в обучающих данных. Они могут описывать методы причинно-следственного вывода, но не могут проводить причинно-следственное рассуждение, поскольку это требует понимания процесса генерации данных, воздействия на переменные и рассуждений о контрфактических сценариях, которые никогда не встречаются ни в одном обучающем корпусе.

Рассмотрим конкретный пример. Компания, занимающаяся электронной коммерцией, замечает, что клиенты, использующие их мобильное приложение, тратят на 40% больше, чем пользователи настольных компьютеров. Прогностическая модель с радостью предскажет увеличение выручки, если вы побудите больше людей загрузить приложение. Однако человек, мыслящий в рамках причинно-следственного анализа, остановится и спросит: приложение действительно приводит к увеличению расходов, или же клиенты, тратящие больше, просто предпочитают приложения? Вмешательство (побуждение к загрузке) работает только в том случае, если верно первое объяснение. Ни одна языковая модель не может решить эту проблему путем сопоставления шаблонов в тексте. Для этого требуется разработка эксперимента, сбор новых данных и применение причинно-следственной модели.

Это в корне человеческий труд. И пять перечисленных выше навыков — это набор инструментов для его выполнения.

90-дневный план действий

Читать об этих навыках и развивать их — это две разные вещи. Вот конкретный план, структурированный по тому, что вы можете начать делать на этой неделе, и по тому, что требует больше времени для развития. Все рекомендации основаны на моем личном опыте или на том, что, по моему мнению, дало результаты.

1028c74118d584a60145b986480f6bd7
Изображение предоставлено автором.
ce4d9659b82d574a0b2c9d13a4289c17
Изображение предоставлено автором.
14a598c4de9016e943c3d4423950ce19
Изображение предоставлено автором.

Для всего этого не требуется кластер графических процессоров. Для всего этого не требуется подписка на новейшую платформу искусственного интеллекта. Нужен ноутбук, немного данных и готовность замедлиться и внимательно обдумать, что вы измеряете и почему.

Куда это всё ведёт

На рынке уже наблюдаются три изменения.

Роль «инженера по искусственному интеллекту» разделится. Одно направление станет инфраструктурным (MLOps, развертывание, масштабирование), то есть разработкой программного обеспечения. Другое станет наукой принятия решений (причинно-следственный анализ, экспериментирование, стратегический анализ), чем, собственно, и должна была быть наука о данных, пока её не отвлекли таблицы лидеров Kaggle.

Преимущество смещается от прогнозирования к назначению. Прогнозирование становится товаром массового потребления. Автоматизированные системы машинного обучения и ИИ-помощники могут создать неплохую прогностическую модель за несколько часов. Но преобразование прогноза в рекомендацию («повысьте цены на 3% для этого сегмента, и вот почему мы на 85% уверены, что это увеличит прибыль») требует причинно-следственного анализа, экспертных знаний в предметной области и байесовской количественной оценки неопределенности. Такое сочетание встречается редко.

Доверие становится решающим фактором. Поскольку аналитические данные, генерируемые ИИ, заполоняют каждую организацию, способность объяснить, почему рекомендация заслуживает доверия (вот эксперимент, вот доверительный интервал, вот что могло бы изменить наше мнение), отличает анализ, на основе которого принимаются решения, от анализа, который игнорируется. Статистическая точность становится защитным барьером.

Прогнозирование становится товаром. Преимуществом становится рецепт: «сделайте X, вот почему, и вот наш уровень уверенности».

Четыреста миллиардов долларов вложены в технологию, чьи платящие клиенты не могут объяснить, за что они платят. Коррекция неизбежна. Она всегда происходит.

Когда это произойдёт, в живых останутся не те, кто научился создавать языковые модели. Это будут те, кто сможет разработать эксперимент, проследить причинно-следственную связь и объяснить группе скептически настроенных руководителей, насколько они должны быть уверены в той или иной рекомендации и какие именно доказательства могли бы изменить их мнение.

Пузырь трескается. Под ним — твёрдая почва. Начинайте строить на ней.

Ссылки

  1. IntuitionLabs. «Пузырь ИИ против пузыря доткомов: сравнение на основе данных». 2025.
  2. Дэвенпорт, Томас Х. и Бин, Рэнди. «Пять тенденций в области ИИ и науки о данных на 2026 год». MIT Sloan Management Review, 2026.
  3. Gartner. «Генеративный ИИ в период разочарования». Журнал «Procurement Magazine», 2025.
  4. Pragmatic Coders. «Мы проанализировали 4 года ажиотажа вокруг ИИ от Gartner, чтобы вы не сделали неудачную инвестицию в 2026 году». 2026.
  5. Acalytica. «Причинно-следственные изменения в ИИ в различных отраслях (2025-2026 гг.)». 2025.
  6. PyMC Labs. «От неопределенности к пониманию: как байесовская наука о данных может преобразовать ваш бизнес». 2024.
  7. Contentsquare. «6 реальных примеров и тематических исследований A/B-тестирования». 2025.
  8. Acerta Analytics. «Разница между машинным обучением и статистическим контролем процессов и почему это важно». 2024.
  9. DASCA. «Необходимые навыки для специалистов по анализу данных в 2026 году и далее». 2025.
  10. Википедия. «Пузырь искусственного интеллекта». (Дата обращения: февраль 2026 г.).

Каушик Раджан Посмотреть все материалы от Каушика Раджана

Источник: towardsdatascience.com

✅ Найденные теги: В, искусственный интеллект, Лазейка, наука о данных, новости, Пузырь

ОСТАВЬТЕ СВОЙ КОММЕНТАРИЙ

Каталог бесплатных опенсорс-решений, которые можно развернуть локально и забыть о подписках

галерея

Осенний лес с кипарисами и кувшинками в тихом заболоченном водоеме.
Старая подводная лодка на берегу под открытым небом, выставленная на металлической подставке.
Человек с большой собакой гуляет в лесу, солнечный день.
Эмблемы огня и снега с геометрическим узором между ними.
Деревянные блоки в форме ступеней, символизирующие прогресс и рост.
Электрический кроссовер Honda e: яркий белый дизайн, выставка автомобилей 2023.
ideipro logotyp
Вопросы и ответы: Главный врач Amazon One Medical о выпуске программного обеспечения для искусственного интеллекта в здравоохранении | MobiHealthNews
Стартовый набор для специалистов по анализу данных 2026 года: с чего начать (и что следует игнорировать)
Image Not Found
Старая подводная лодка на берегу под открытым небом, выставленная на металлической подставке.

Как беспилотные подводные лодки, предназначенные для перевозки наркотиков, могут изменить колумбийскую наркоторговлю.

Быстрые, незаметные и дешевые — автономные полупогружные катера-дроны, перевозящие тонны кокаина, могут стать кошмарным сценарием для международных правоохранительных органов. Один из таких крупных экземпляров только что причалил к берегу. Колумбийские военные перехватили эту 12-метровую беспилотную стекловолоконную «наркоподводную…

Мар 12, 2026
Человек с большой собакой гуляет в лесу, солнечный день.

Ошейник для собак Petvara с голосовыми командами

«Умный» ошейник для собак Petvara Dog Collar объединяет дальнюю голосовую связь, тренировки и виртуальный забор, чтобы помочь владельцам общаться с питомцем на большом расстоянии.  Этот аксессуар предназначен для ситуаций, когда собака гуляет в парке или на большом…

Мар 12, 2026
Эмблемы огня и снега с геометрическим узором между ними.

Защита турбин от экстремального перегрева: как суперкомпьютеры помогли создать керамику, выдерживающую 2000 градусов

Графический абстракт статьи © Ceramics International Учёные из Сколтеха, Института неорганической химии имени А.В. Николаева СО РАН, а также других научных организаций России создали новую керамику на основе двойного перовскита Ba₂YNbO₆, способную выдерживать температуры свыше 2000 градусов…

Мар 12, 2026
Деревянные блоки в форме ступеней, символизирующие прогресс и рост.

Прохождение игры YOLOv3 на бумаге: стало еще лучше, но ненамного.

Реализация на PyTorch для архитектуры YOLOv3, выполненная с нуля. Делиться YOLOv2, который когда-то считался передовым алгоритмом обнаружения объектов, казался устаревшим из-за появления других методов, таких как SSD (Single Shot Multibox Detector), DSSD (Deconvolutional Single Shot Detector) и…

Мар 12, 2026

Впишите свой почтовый адрес и мы будем присылать вам на почту самые свежие новости в числе самых первых