Почему грандиозные обещания повышения производительности никогда не оправдываются? Все ли продукты плохие, или за цифрами скрывается что-то ещё?
Делиться
Введение: Ложные обещания?
За время моей работы консультантом и менеджером в сфере данных мне довелось посмотреть немало презентаций. И с обеих сторон. А любая достойная презентация что-то обещает, часто об эффективности или производительности. Вы, вероятно, слышали что-то подобное:
- Этот инструмент повысит производительность ваших специалистов по анализу данных на 40%!
- Таким образом, вы потратите на исправление ошибок на 30% меньше времени. Вы могли бы, по сути, ввести 6-часовой рабочий день и всё равно добиться успеха!
- С нашим решением вы сможете разработать два проекта за то время, которое раньше уходило на один. Это вдвое сократит время до запуска в производство!
Иногда обещания не сбываются просто потому, что предлагаемый продукт плох. Но почему это никогда не срабатывает, даже с хорошими продуктами? Вы можете перейти на продукт, который вам действительно нравится, но всё равно не увидеть обещанного улучшения. Почему? Неужели представленные вам цифры — ложь?
Моё образование в области математики, полученное в докторантуре, вероятно, оставило на мне шрамы на всю жизнь во многих отношениях. Один из самых глубоких шрамов — это моя потребность точно понимать, что представляют собой числа. И все числа, которые вы находите в приведённых выше утверждениях, указывают на одно, но если задуматься, рассказывают совершенно другую историю.
Хотя ложь, безусловно, случается, гораздо более распространенной практикой является введение в заблуждение . Такой маркетинг предполагает, что вы не способны критически мыслить, когда вам представляют цифры. Давайте вместе поразмышляем критически и посмотрим, к чему мы придем.
Ложь, ложь и маркетинг
Так в чем же проблема с отчетами о производительности?
Главная проблема заключается в том, что они заявляют об оптимизации определенного аспекта процесса, одновременно (косвенно) обещая повышение общей производительности.
Давайте рассмотрим простой пример, чтобы понять, что это значит.
Допустим, вы крупный игрок на рынке ИИ и недавно запустили продукт, который отлично помогает специалистам по обработке данных в выборе параметров модели. Отлично! Первые опросы показывают, что он повысил производительность специалистов по обработке данных на 20% при выборе параметров модели. Первоначально вы представляете это так:
Наш инструмент повысил производительность специалистов по анализу данных при выборе параметров модели на 20%.
Довольные таким впечатляющим результатом, вы отправляете свое заявление в отдел маркетинга, и они возвращаются лишь с незначительными корректировками:
Наш инструмент улучшил выбор параметров модели, повысив производительность специалистов по анализу данных на 20%.
Вы пожимаете плечами и на секунду задумываетесь, за что, собственно, платят этим маркетологам, если они всего лишь перетасовали несколько слов. На самом деле, они превратили ваше высказывание из чего-то умеренно впечатляющего в нечто невероятно впечатляющее.
Почему? Маркетинговая стратегия создает впечатление, что продукт повышает общую производительность специалистов по анализу данных на 20%. Но в вашем опросе речь шла только о производительности в тот момент, когда специалисты по анализу данных выбирают параметры модели. В чем же реальная разница?
Специалист по анализу данных выполняет множество задач, включая прототипирование, управление заинтересованными сторонами, координационные совещания и т.д. Хотя машинное обучение часто находится в центре их описания, многие специалисты по анализу данных тратят на типичные задачи анализа данных лишь около 40% своего времени. Значительная часть этих 40% уходит на отладку проблем с качеством данных, управление конвейером обработки данных и проверку данных. Выбор параметров модели может занимать всего 10% из этих 40% времени, отведенного на задачи анализа данных. Умножив эти значения, мы получим, что это всего лишь 4% от общего времени.
Если бы специалист по анализу данных внедрил инструмент, повышающий эффективность выбора параметров модели на 20%, это сократило бы его общее время всего на 1%. В течение рабочей недели это было бы незаметно. Более того, с учетом сложности освоения нового инструмента на начальном этапе, производительность могла бы даже снизиться.
Самое приятное? Внимательно прочтите это утверждение:
Наш инструмент улучшил выбор параметров модели, повысив производительность специалистов по анализу данных на 20%.
Безусловно, создается впечатление, что специалисты по анализу данных в целом будут на 20% продуктивнее, но это лишь одна из интерпретаций. Если бы их попросили объяснить связь между началом и концом предложения, маркетологи бы сказали, что подразумевается, что повышение производительности касается только выбора параметров модели.
Таким образом, вы можете сказать одно, а в случае обнаружения вводящего в заблуждение заявления использовать другое. Заработок на маркетинге зависит от умения правильно подбирать слова!
Лучший способ? Сосредоточьтесь на когнитивной нагрузке, а не на производительности.
Что на самом деле говорит мне рассказанная мной история? Если у вас много разных сложных задач (как у специалиста по анализу данных), то стремление к повышению производительности на самом деле не является таким уж большим шагом вперед.
Не поймите меня неправильно. Если у вас есть простая возможность повысить производительность на 20% при выполнении одной из задач, воспользуйтесь ею! Но не ожидайте, что это приведет к увеличению общей производительности более чем на один-два процента.
Что же мы можем сделать вместо этого, когда у нас много разных сложных задач? Мы можем использовать когнитивную нагрузку в качестве показателя и попытаться её уменьшить.
Предположим, что конкурирующая компания разработала собственный инструмент для выбора параметров модели. Вместо того чтобы пытаться ускорить процесс, их инструмент преследовал единственную цель — снизить когнитивную нагрузку на специалиста по анализу данных. Таким образом, процесс выбора модели занял бы то же время, но специалист по анализу данных почувствовал бы прилив энергии и готовность к новым задачам после выбора параметров модели.
Большинство людей, включая меня, не могут работать по 8 часов в день и при этом всегда быть на высоте. В некоторые дни мне кажется, что у меня есть силы на 6 эффективных часов, в другие — всего на 2. Если какой-то процесс не требует такой большой когнитивной нагрузки, я могу работать дольше и эффективнее. Это часто приводит к той же общей производительности в несколько процентов, но с дополнительным преимуществом в виде улучшения морального состояния.
Поэтому в следующий раз, когда кто-то заявит о «40-процентном увеличении производительности», задайте ему следующий вопрос:
- На какую долю общего рабочего времени влияет это повышение производительности?
- Насколько это снижает или, наоборот, увеличивает когнитивную нагрузку?
Эйрик Берге Посмотреть все от Эйрика Берге
Источник: towardsdatascience.com
