Прогнозирование против моделей поиска: чего не хватает специалистам по данным

Как платформенные компании устанавливают цены и зарабатывают деньги?

Делиться

Введение

Как специалисты по анализу данных, мы сосредоточены на разработке алгоритмов, причинно-следственных/предиктивных моделей и рекомендательных систем (а теперь и на ИИ-моделях). Мы оптимизируем данные для повышения точности, настраиваем гиперпараметры и ищем новые перспективные модели для внедрения в эксплуатацию. Но, стремясь к созданию передовой реализации, мы упустили из виду класс моделей, которые могут изменить наше представление о самой бизнес-задаче.

Вспомните рост платформенных компаний, таких как Amazon, Spotify, Netflix, Uber и Upstart. Хотя их отрасли кажутся совершенно разными, по сути, они выступают посредниками на рынках поиска и сопоставления между агентами спроса и предложения. Ценностное предложение этих компаний заключается в снижении затрат клиентов на поиск за счёт предоставления платформы и алгоритма сопоставления для объединения агентов в условиях неопределённости и неоднородных предпочтений.

Основная задача

На этих рынках фундаментальные вопросы — это не просто стандартные изолированные проблемы машинного обучения, такие как «как нам предсказать спрос?» или «как реклама влияет на показатель оттока?». Вместо этого критически важными проблемами являются:

• Сколько поставщиков нам следует привлечь, учитывая ожидаемую структуру спроса?
• Как разработать механизмы сопоставления, обеспечивающие оптимальное распределение?
• Какие стратегии ценообразования позволяют максимально увеличить доход платформы, обеспечивая при этом баланс между ростом платформы и удовлетворенностью клиентов?
• Как нам справиться с последующим воздействием, когда изменения в одном примитиве модели имеют волновой эффект?

Традиционные подходы в науке о данных рассматривают эти проблемы как независимые задачи оптимизации и выделяют для них отдельные направления исследований. Однако экономисты работают над этими проблемами с 1980-х годов и разработали единую теоретическую модель, отражающую взаимозависимую природу динамики этих платформ, называемую моделями теории поиска . Более того, я глубоко изучал это в аспирантуре, но не видел применения в отраслевых исследованиях, поэтому хотел бы обратить внимание на этот набор моделей.

Почему это важно для специалистов по данным

Наука о данных как область знаний сильна в измерениях и алгоритмах, но отстаёт в формулировании задач (которую мы оставили менеджерам проектов и руководителям). Понимание этих теоретических основ определяет, какие метрики измерять и какие алгоритмы разрабатывать. Вместо того, чтобы строить изолированные модели прогнозирования, мы можем проектировать системы, которые работают совместно, учитывая эффекты равновесия, стратегическое поведение и петли обратной связи. Этот теоретический подход помогает нам выбрать правильный эксперимент для проведения, понять, когда наши модели дают сбой (дрейф когорт) из-за изменений в предпочтениях агентов, и разработать вмешательства, которые оказывают непосредственное влияние на результаты равновесия.

В этой статье я расскажу о теории, лежащей в основе поисковых моделей, и продемонстрирую их практическое применение на примере кредитной платформы (Upstart/LendingClub/Prosper), которая сопоставляет заёмщиков и банки. Мы рассмотрим, как эта платформа может повлиять на стратегии привлечения партнёров, механизмы ценообразования и комиссий, а также какие рычаги следует использовать для стимулирования роста. Заинтересованные читатели могут перейти к следующему разделу, где кратко излагается история появления этих моделей, или сразу перейти к практическому примеру, чтобы понять, как их разрабатывать.

Источник: towardsdatascience.com