Самые опасные KPI не нарушены; им доверяют еще долгое время после того, как они утратили свой смысл.
Делиться
Ложный комфорт зеленых приборных панелей
Метрики упорядочивают хаос, или, по крайней мере, мы так полагаем. Они обобщают многомерное поведение в потребительские сигналы, клики в конверсии, задержку в доступность, а показы в рентабельность инвестиций. Однако в системах больших данных я обнаружил, что самые обманчивые показатели — это те, которые мы склонны ценить больше всего.
В одном случае KPI эффективности цифровой кампании демонстрировал устойчивую положительную динамику в течение двух кварталов. Он соответствовал данным на наших панелях мониторинга и был аналогичен данным в наших автоматизированных отчётах. Однако, отслеживая качество лидов после конверсии, мы обнаружили, что модель переобучилась на поведение на уровне интерфейса, такое как ненавязчивые клики и прокрутка страницы, а не на преднамеренное поведение. Технически это был верный показатель. Он утратил семантическую связь с бизнес-ценностью. Панель мониторинга оставалась зелёной, но бизнес-процессы незаметно разрушались.
Парадокс оптимизации-наблюдения
После определения меры оптимизации она может быть изменена, причем не обязательно злоумышленниками, а самой системой. Модели машинного обучения, уровни автоматизации и даже поведение пользователей можно корректировать с помощью стимулов на основе метрик. Чем лучше система настроена на меру, тем лучше она отражает, насколько система способна максимизировать производительность, а не насколько она отражает реальность.
Я наблюдал это на примере системы рекомендаций контента, где краткосрочные показатели кликабельности были максимизированы за счёт разнообразия контента. Рекомендации были повторяющимися и кликабельными. Миниатюры были привычными, но пользователи использовали их реже. KPI показал успешность, несмотря на снижение глубины продукта и удовлетворенности пользователей.
В этом и заключается парадокс: KPI можно оптимизировать до нерелевантности. В сфере обучения это лишь предположение, но на практике оно неэффективно. Большинство систем мониторинга не предназначены для регистрации подобных отклонений, поскольку показатели эффективности не дают сбоев, а лишь постепенно дрейфуют.
Когда метрики теряют свой смысл, не разрушаясь.
Семантический дрейф — одна из самых недооценённых проблем в аналитической инфраструктуре, или сценарий, при котором KPI сохраняет свою работоспособность в статистическом смысле. Тем не менее, он больше не отражает бизнес-поведение, как раньше. Угроза кроется в скрытой непрерывности. Никто не занимается расследованием, поскольку метрика не падает и не резко растёт.
В ходе аудита инфраструктуры мы обнаружили, что количество активных пользователей не менялось, несмотря на значительное увеличение количества событий использования продукта. Изначально для этого требовалось определённое взаимодействие пользователя с продуктом. Однако со временем обновления бэкенда привели к появлению пассивных событий, которые увеличили количество пользователей без взаимодействия с ними. Определение изменилось незаметно. Конвейер был верным. Данные обновлялись ежедневно. Но смысл был утерян.
Эта семантическая эрозия происходит со временем. Метрики становятся артефактами прошлого, остатками архитектуры продукта, которая больше не существует, но продолжает влиять на квартальные OKR, модели компенсаций и циклы переобучения моделей. Когда эти метрики связаны с системами низшего звена, они становятся частью организационной инерции.
Метрический обман на практике: тихий уход от выравнивания
Большинство метрик лгут не злонамеренно. Они лгут молча, отдаляясь от явления, которое они должны были отображать. В сложных системах такое несоответствие редко обнаруживается на статических панелях управления, поскольку метрика остаётся внутренне согласованной, даже если её внешнее значение меняется.
Возьмём, к примеру, алгоритмические изменения Facebook в 2018 году. В связи с растущей обеспокоенностью по поводу пассивной прокрутки и ухудшения самочувствия пользователей, Facebook ввёл новую базовую метрику для управления алгоритмом новостной ленты: осмысленное социальное взаимодействие (MSI). Эта метрика была разработана для определения приоритетности комментариев, репостов и обсуждений — того цифрового поведения, которое считается «здоровой вовлечённостью».
Теоретически MSI был более надёжным средством установления связей в сообществе, чем простые клики или лайки. Но на практике он поощрял провокационный контент, поскольку ничто так не стимулирует дискуссии, как споры. Внутренние исследователи Facebook быстро поняли, что этот благонамеренный KPI непропорционально часто выявлял разногласия в публикациях. Согласно внутренним документам, опубликованным The Wall Street Journal, сотрудники неоднократно высказывали опасения, что оптимизация MSI провоцирует возмущение и политический экстремизм.
Ключевые показатели эффективности системы улучшились. Вовлеченность выросла. MSI была успешной на бумаге. Но фактическое качество контента ухудшилось, доверие пользователей подорвалось, а контроль со стороны регулирующих органов усилился. Метрика добилась успеха, потерпев неудачу. Проблема была не в эффективности модели, а в том, что эта эффективность стала отражать.
Этот случай демонстрирует повторяющийся тип сбоя в зрелых системах машинного обучения: метрики, которые оптимизируются до несоответствия. Модель Facebook рухнула не потому, что была неточной. Она рухнула потому, что KPI, хотя и стабильный и поддающийся количественной оценке, перестал измерять то, что действительно важно.
Агрегаты скрывают системные слепые пятна
Основным недостатком большинства систем KPI является зависимость от совокупной эффективности. Усреднение больших баз пользователей или наборов данных часто скрывает локальные виды сбоев. Ранее я тестировал модель кредитного скоринга, которая обычно показывала высокие показатели AUC. На бумаге она была успешной. Но при дезагрегации по регионам и группам пользователей одна группа, молодые абитуриенты из регионов с низким уровнем дохода, показала значительно худшие результаты. Модель хорошо обобщала данные, но имела структурную «слепую зону».
Эта предвзятость не отражается на панелях управления, если её не измерить. И даже если она обнаружена, её часто воспринимают как пограничный случай, а не как указание на более фундаментальный сбой в репрезентативности. KPI в данном случае оказался не только обманчивым, но и верным: усреднённым показателем эффективности, скрывающим неравенство в эффективности. Это не только техническая, но и этическая, и нормативная проблема в системах, работающих на национальном или глобальном уровне.
От долга по метрикам к краху метрики
По мере роста организаций ключевые показатели эффективности (KPI) становятся более надёжными. Результаты, полученные в ходе проверки концепции, могут стать постоянным элементом производственной среды. Со временем предпосылки, на которых они основаны, устаревают. Я видел системы, в которых метрика конверсии, изначально использовавшаяся для измерения потоков кликов на десктопах, оставалась неизменной, несмотря на редизайн с учётом мобильных устройств и изменения в намерениях пользователей. В результате показатель продолжал обновляться и строиться, но перестал соответствовать поведению пользователей. Теперь это был долг по метрикам; код, который не был сломан, но больше не выполнял свою задачу.
Хуже того, когда такие метрики включаются в процесс оптимизации модели, может возникнуть нисходящая спираль. Модель переобучается, стремясь к достижению KPI. Рассогласование подтверждается повторным обучением. Оптимизация приводит к неверной интерпретации. И если не прерывать цикл вручную, система деградирует, отчитываясь о прогрессе.
Метрики, которые направляют, против метрик, которые вводят в заблуждение
Для восстановления надёжности метрики должны быть чувствительны к истечении срока действия. Это также подразумевает повторный аудит их допущений, проверку их зависимостей и оценку качества разрабатываемых систем.
Недавнее исследование дрейфа меток и семантики показывает, что конвейеры данных могут незаметно передавать ошибочные предположения в модели без каких-либо оповещений. Это подчёркивает необходимость обеспечения семантической согласованности значения метрики и измеряемого ею объекта.
На практике мне удалось успешно объединить диагностические KPI с KPI производительности, которые отслеживают разнообразие использования функций, вариативность обоснований решений и даже результаты контрфактуального моделирования. Они не обязательно оптимизируют систему, но предотвращают её слишком сильное отклонение от заданного курса.
Заключение
Самая катастрофическая вещь для системы — это не повреждение данных или кода. Это ложная уверенность в знаке, который больше не связан со своим значением. Мошенничество не злонамеренное. Оно архитектурное. Меры становятся бесполезными. Панели мониторинга остаются неизменными, а результаты гниют внизу.
Хорошие метрики дают ответы на вопросы. Но даже самые эффективные системы продолжают оспаривать эти ответы. И когда показатель становится слишком привычным, слишком стабильным, слишком священным, именно тогда его нужно пересмотреть. Когда KPI перестаёт отражать реальность, он не просто вводит в заблуждение вашу панель управления, он вводит в заблуждение всю вашу систему принятия решений.
Источник: towardsdatascience.com
