Являются ли «квази»-эксперименты по геолифту недостающим звеном вашей маркетинговой научной функции?
Делиться
💡 Примечание: код Geo-Lift R в конце статьи.
На протяжении всей своей карьеры я использовал квазиэкспериментальные методы с синтетическими контрольными группами для оценки влияния бизнес-изменений. В Trustpilot мы изменили положение баннера на главной странице и ретроспективно увидели сигналы, указывающие на снижение нашей основной метрики спроса. Смоделировав, как выглядела бы производительность без изменений, и сравнив её с фактической, мы получили чёткое представление о постепенном снижении. В Zensai мы решили проанализировать некоторые из наших веб-форм и аналогичным образом подтвердили, оказало ли изменение положительное влияние на лёгкость заполнения, по оценкам пользователей.
Этот подход применим везде, где можно разделить что-либо на экспериментальную и контрольную группы: отдельные лица, смартфоны, операционные системы, формы или целевые страницы . Вы обрабатываете одни данные. Остальные помогают вам смоделировать, что произошло бы без воздействия. Затем вы сравниваете.
Когда невозможно рандомизировать данные на индивидуальном уровне, география становится отличной единицей анализа. Города и регионы легко таргетировать через платные соцсети, а их границы помогают сдерживать перетоки.
Существует три практических варианта изоляции дополнительного воздействия:
- Рандомизированные контролируемые испытания (РКИ) , такие как тесты конверсии или повышения узнаваемости бренда , привлекательны, когда их можно использовать на крупных рекламных платформах. Они автоматизируют случайное назначение пользователей и могут предоставлять статистически надежные ответы в среде платформы. Однако, если вы не используете API конверсии, их область применения ограничена собственными метриками и механиками платформы. В последнее время появились доказательства (1, 2, 3), что алгоритмические функции могут поставить под угрозу случайность назначения. Это создает «расходящуюся доставку» : объявление A показывается одному типу аудитории (например, большему количеству мужчин или людей с определенными интересами), в то время как объявление B показывается другому типу. Любая разница в CTR или конверсиях не может быть отнесена исключительно к рекламному объявлению. Она запутана тем, как алгоритм показал рекламу. В Google Ads для повышения конверсии обычно требуется включение представителем аккаунта Google. В Meta Ads соответствующие требованиям рекламодатели могут самостоятельно запускать тесты повышения конверсии в Ads Manager (при условии соблюдения предварительных условий по расходам и конверсиям).
- Гео-РКИ (рандомизированные геоэксперименты) используют географические регионы в качестве единицы анализа со случайным распределением участников в экспериментальную и контрольную группы. Индивидуальное отслеживание не требуется, но для достижения статистической мощности и достоверности результатов необходимо достаточно большое количество географических регионов. Поскольку распределение рандомизировано, не требуется создавать синтетический контроль, как в экспериментах следующего типа.
- Эксперимент Quasi Geo-Lift решает тот же вопрос, используя геоданные в качестве единиц анализа, без необходимости отслеживания на индивидуальном уровне. В отличие от Geo-RCT, которые требуют рандомизации и большего количества геоданные, этот квазиэкспериментальный подход предлагает три ключевых преимущества без обязательной рандомизации: он a) хорошо работает с меньшим количеством географических регионов (нет необходимости во многих геоданные, как в Geo-RCT), b) обеспечивает стратегический выбор рынка (прямой контроль над тем, где и когда применяется лечение на основе бизнес-приоритетов), и c) обеспечивает ретроспективный анализ и поэтапное развертывание (если ваша кампания уже запущена или должна быть развернута волнами по операционным причинам, вы все равно можете измерить прирост). Синтетический контроль построен так, чтобы соответствовать тенденциям до вмешательства и характеристикам единицы лечения, поэтому любые различия после начала лечения можно отнести к приросту кампании. Однако : успешное выполнение требует четкой координации между командами аналитики и performance-маркетинга для обеспечения надлежащей реализации и интерпретации.
Преимущества эксперимента «Квазигео-лифт» огромны. Чтобы понять, когда можно использовать квазиэксперимент в маркетинговой деятельности, рассмотрим следующий пример.
Источник: towardsdatascience.com
