Нет записи о покупке — нет покупки? Как реальные данные изменили постановку задачи

Для оценки рекомендательной системы я подготовила 60 000 сессий, но Hit@20 посчитала только по 748. Остальные не стали автоматически промахами: отсутствие записи о покупке ещё не доказывает, что посетитель ничего не купил.

На данных Coveo это заставило меня пересмотреть цель, подготовку данных и обучение. В статье разбираю на простом примере, какие действия может видеть модель, откуда берутся нулевые метки и почему промахи отбора кандидатов должны оставаться в метрике. Все эти правила уже работают в проекте с графом товаров, LightGBM и локальным HTTP API. Код и инструкция воспроизведения доступны в репозитории.

Почему в метрике 748 сессий?

Источник: habr.com