Арифметика повышения производительности: почему «40-процентное увеличение производительности» на самом деле никогда не работает?

Почему грандиозные обещания повышения производительности никогда не оправдываются? Все ли продукты плохие, или за цифрами скрывается что-то ещё?

Делиться

Введение: Ложные обещания?

За время моей работы консультантом и менеджером в сфере данных мне довелось посмотреть немало презентаций. И с обеих сторон. А любая достойная презентация что-то обещает, часто об эффективности или производительности. Вы, вероятно, слышали что-то подобное:

• Этот инструмент повысит производительность ваших специалистов по анализу данных на 40%!
• Таким образом, вы потратите на исправление ошибок на 30% меньше времени. Вы могли бы, по сути, ввести 6-часовой рабочий день и всё равно добиться успеха!
• С нашим решением вы сможете разработать два проекта за то время, которое раньше уходило на один. Это вдвое сократит время до запуска в производство!

Иногда обещания не сбываются просто потому, что предлагаемый продукт плох. Но почему это никогда не срабатывает, даже с хорошими продуктами? Вы можете перейти на продукт, который вам действительно нравится, но всё равно не увидеть обещанного улучшения. Почему? Неужели представленные вам цифры — ложь?

Моё образование в области математики, полученное в докторантуре, вероятно, оставило на мне шрамы на всю жизнь во многих отношениях. Один из самых глубоких шрамов — это моя потребность точно понимать, что представляют собой числа. И все числа, которые вы находите в приведённых выше утверждениях, указывают на одно, но если задуматься, рассказывают совершенно другую историю.

Хотя ложь, безусловно, случается, гораздо более распространенной практикой является введение в заблуждение . Такой маркетинг предполагает, что вы не способны критически мыслить, когда вам представляют цифры. Давайте вместе поразмышляем критически и посмотрим, к чему мы придем.

Ложь, ложь и маркетинг

Так в чем же проблема с отчетами о производительности?

Главная проблема заключается в том, что они заявляют об оптимизации определенного аспекта процесса, одновременно (косвенно) обещая повышение общей производительности.

Давайте рассмотрим простой пример, чтобы понять, что это значит.

Допустим, вы крупный игрок на рынке ИИ и недавно запустили продукт, который отлично помогает специалистам по обработке данных в выборе параметров модели. Отлично! Первые опросы показывают, что он повысил производительность специалистов по обработке данных на 20% при выборе параметров модели. Первоначально вы представляете это так:

Наш инструмент повысил производительность специалистов по анализу данных при выборе параметров модели на 20%.

Довольные таким впечатляющим результатом, вы отправляете свое заявление в отдел маркетинга, и они возвращаются лишь с незначительными корректировками:

Наш инструмент улучшил выбор параметров модели, повысив производительность специалистов по анализу данных на 20%.

Вы пожимаете плечами и на секунду задумываетесь, за что, собственно, платят этим маркетологам, если они всего лишь перетасовали несколько слов. На самом деле, они превратили ваше высказывание из чего-то умеренно впечатляющего в нечто невероятно впечатляющее.

Почему? Маркетинговая стратегия создает впечатление, что продукт повышает общую производительность специалистов по анализу данных на 20%. Но в вашем опросе речь шла только о производительности в тот момент, когда специалисты по анализу данных выбирают параметры модели. В чем же реальная разница?

Специалист по анализу данных выполняет множество задач, включая прототипирование, управление заинтересованными сторонами, координационные совещания и т.д. Хотя машинное обучение часто находится в центре их описания, многие специалисты по анализу данных тратят на типичные задачи анализа данных лишь около 40% своего времени. Значительная часть этих 40% уходит на отладку проблем с качеством данных, управление конвейером обработки данных и проверку данных. Выбор параметров модели может занимать всего 10% из этих 40% времени, отведенного на задачи анализа данных. Умножив эти значения, мы получим, что это всего лишь 4% от общего времени.

Если бы специалист по анализу данных внедрил инструмент, повышающий эффективность выбора параметров модели на 20%, это сократило бы его общее время всего на 1%. В течение рабочей недели это было бы незаметно. Более того, с учетом сложности освоения нового инструмента на начальном этапе, производительность могла бы даже снизиться.

Самое приятное? Внимательно прочтите это утверждение:

Безусловно, создается впечатление, что специалисты по анализу данных в целом будут на 20% продуктивнее, но это лишь одна из интерпретаций. Если бы их попросили объяснить связь между началом и концом предложения, маркетологи бы сказали, что подразумевается, что повышение производительности касается только выбора параметров модели.

Таким образом, вы можете сказать одно, а в случае обнаружения вводящего в заблуждение заявления использовать другое. Заработок на маркетинге зависит от умения правильно подбирать слова!

Лучший способ? Сосредоточьтесь на когнитивной нагрузке, а не на производительности.

Что на самом деле говорит мне рассказанная мной история? Если у вас много разных сложных задач (как у специалиста по анализу данных), то стремление к повышению производительности на самом деле не является таким уж большим шагом вперед.

Не поймите меня неправильно. Если у вас есть простая возможность повысить производительность на 20% при выполнении одной из задач, воспользуйтесь ею! Но не ожидайте, что это приведет к увеличению общей производительности более чем на один-два процента.

Что же мы можем сделать вместо этого, когда у нас много разных сложных задач? Мы можем использовать когнитивную нагрузку в качестве показателя и попытаться её уменьшить.

Предположим, что конкурирующая компания разработала собственный инструмент для выбора параметров модели. Вместо того чтобы пытаться ускорить процесс, их инструмент преследовал единственную цель — снизить когнитивную нагрузку на специалиста по анализу данных. Таким образом, процесс выбора модели занял бы то же время, но специалист по анализу данных почувствовал бы прилив энергии и готовность к новым задачам после выбора параметров модели.

Большинство людей, включая меня, не могут работать по 8 часов в день и при этом всегда быть на высоте. В некоторые дни мне кажется, что у меня есть силы на 6 эффективных часов, в другие — всего на 2. Если какой-то процесс не требует такой большой когнитивной нагрузки, я могу работать дольше и эффективнее. Это часто приводит к той же общей производительности в несколько процентов, но с дополнительным преимуществом в виде улучшения морального состояния.

Поэтому в следующий раз, когда кто-то заявит о «40-процентном увеличении производительности», задайте ему следующий вопрос:

• На какую долю общего рабочего времени влияет это повышение производительности?
• Насколько это снижает или, наоборот, увеличивает когнитивную нагрузку?

Эйрик Берге Посмотреть все от Эйрика Берге

Источник: towardsdatascience.com