Введение в ключевые концепции и практические приложения
Делиться
Принятие решений в условиях неопределенности — одна из главных проблем для продуктовых команд. Как крупные, так и мелкие решения часто приходится принимать в условиях дефицита времени, несмотря на неполную и потенциально неточную информацию о проблеме и пространстве решений. Это может быть связано с отсутствием релевантных исследований пользователей, ограниченным пониманием тонкостей бизнес-контекста (что обычно наблюдается в компаниях, которые слишком мало внимания уделяют клиентоориентированности и межкомандному сотрудничеству) и/или неполным пониманием возможностей и недостатков той или иной технологии (особенно при создании лидирующих продуктов с использованием новых, непроверенных технологий).
Ситуация особенно сложна для команд разработчиков ИИ-продуктов как минимум по трём причинам. Во-первых, многие алгоритмы ИИ по своей природе вероятностны и, следовательно, дают неопределённые результаты (например, прогнозы моделей могут быть верными или неверными с определённой вероятностью). Во-вторых, для надлежащего обучения систем ИИ не всегда может быть доступно достаточное количество высококачественных и релевантных данных. В-третьих, недавний взрыв ажиотажа вокруг ИИ, и, в частности, генеративного ИИ, привёл к нереалистичным ожиданиям среди клиентов, аналитиков Уолл-стрит и (неизбежно) лиц, принимающих решения в высшем руководстве; многие из этих заинтересованных сторон, похоже, считают, что практически всё теперь можно легко решить с помощью ИИ. Само собой разумеется, что командам разработчиков может быть сложно соответствовать таким ожиданиям.
Итак, на что же надеяться командам разработчиков продуктов ИИ? Хотя универсального решения не существует, эта статья знакомит читателей с понятием ожидаемой ценности и тем, как его можно использовать для принятия решений в управлении продуктами ИИ. После краткого обзора ключевых теоретических концепций мы рассмотрим три практических примера, которые показывают, как анализ ожидаемой ценности может помочь командам разработчиков продуктов ИИ принимать стратегические решения в условиях неопределенности на протяжении всего жизненного цикла продукта. Учитывая фундаментальный характер темы, целевая аудитория этой статьи — специалисты по данным, менеджеры по продуктам ИИ, инженеры, исследователи и дизайнеры пользовательского опыта, менеджеры и все, кто стремится разрабатывать качественные продукты ИИ.
Примечание: Все рисунки и формулы в следующих разделах созданы автором данной статьи.
Ожидаемое значение
Прежде чем рассмотреть формальное определение ожидаемого значения, давайте рассмотрим две простые игры, чтобы развить нашу интуицию.
Игра в кости
В первой игре представьте, что вы соревнуетесь с друзьями в бросании игральных костей. Каждый из вас бросает шестигранный кубик N раз. Результат каждого броска определяется количеством очков (пипов), выпавших на верхней грани кубика после броска; таким образом, единственные возможные результаты для любого броска — 1, 2, 3, 4, 5 и 6. Игрок, набравший наибольшее количество очков после N бросков, выигрывает игру. Если N — большое число (например, 500), чего следует ожидать в конце игры? Будет ли явный победитель или ничья?
Оказывается, что по мере увеличения N суммарные очки каждого из игроков, вероятно, стремятся к 3,5*N. Например, после 500 бросков ваши общие очки и очки ваших друзей, вероятно, составят около 3,5*500 = 1750. Чтобы понять, почему, обратите внимание, что для честной шестигранной игральной кости вероятность того, что любая грань окажется сверху после броска, составляет 1/6. В среднем результат отдельного броска составит (1 + 2 + 3 + 4 + 5 + 6)/6 = 3,5, то есть среднее арифметическое всех возможных результатов за бросок — это также является математическим ожиданием броска кубика. Предполагая, что результаты всех бросков независимы друг от друга, мы ожидаем, что средний результат N бросков составит 3,5. Итак, после 500 бросков мы не должны удивляться, если каждый игрок наберет в общей сложности около 1750 очков. На самом деле, в математике существует так называемый усиленный закон больших чисел, который гласит, что если повторить эксперимент (например, бросание игральной кости) достаточно большое количество раз, средний результат всех этих экспериментов должен почти наверняка сходиться к ожидаемому значению.
Игра в рулетку
Теперь рассмотрим рулетку, популярную игру в казино. Представьте, что вы играете в упрощённую версию рулетки с другом следующим образом. Колесо рулетки состоит из 38 ячеек, и игра заканчивается после N раундов. В каждом раунде вы должны выбрать целое число от 1 до 38, после чего ваш друг раскручивает рулетку и бросает на вращающееся колесо маленький шарик. После остановки вращения, если шарик попадёт в ячейку с выбранным вами номером, ваш друг заплатит вам 35 долларов; если же шарик попадёт в любую другую ячейку, вы должны заплатить другу 1 доллар. Сколько денег вы и ваш друг ожидаете заработать после N раундов?
Вы можете подумать, что, поскольку 35 долларов намного больше 1 доллара, ваш друг в конечном итоге заплатит вам довольно много денег к концу игры — но не так быстро. Давайте применим тот же базовый подход, который мы использовали в игре в кости, чтобы проанализировать эту, казалось бы, прибыльную игру в рулетку. Для любого заданного раунда вероятность того, что шарик окажется в кармане с выбранным вами номером, составляет 1/38. Вероятность того, что шарик окажется в каком-то другом кармане, составляет 37/38. С вашей точки зрения, средний результат за раунд составляет 35 долларов * 1 / 38 — 1 доллар * 37 / 38 = -0,0526 доллара. Таким образом, похоже, что на самом деле вы будете должны своему другу чуть больше никель после каждого раунда. После N раундов вы останетесь должны примерно 0,0526 доллара * N. Если вы сыграете 500 раундов, как в игре в кости выше, вы в конечном итоге заплатите своему другу примерно 26 долларов. Это пример игры, которая организована в пользу «дома» (т. е. казино или, в данном случае, вашего друга).
Формальное определение
Пусть X — случайная величина, которая может дать любое из k значений исходов x1, x2, …, xk, каждое из которых имеет вероятности p1, p2, …, pk соответственно. Ожидаемое значение E(X) X — это сумма значений исходов, взвешенных по их вероятностям появления:
Общее ожидаемое значение N независимых появлений X составит N*E(X).
В видео ниже показаны еще несколько практических примеров расчетов ожидаемого значения:
В следующих примерах мы рассмотрим, как анализ ожидаемой стоимости может помочь в принятии решений в условиях неопределенности. Для сохранения анонимности участвующих компаний используются вымышленные названия компаний.
Пример 1: Обнаружение мошенничества в электронной коммерции
Cars Online — это онлайн-платформа для перепродажи подержанных автомобилей по всей Европе. Как легальные автодилеры, так и частные владельцы подержанных автомобилей могут выставлять свои автомобили на продажу на Cars Online. Обычно объявление включает в себя запрашиваемую продавцом цену, информацию об автомобиле (например, его основные характеристики, особенности и сведения о любых повреждениях/износе), а также фотографии салона и экстерьера автомобиля. Покупатели могут просматривать множество объявлений на платформе и, найдя понравившийся, нажать кнопку на странице объявления, чтобы связаться с продавцом, договориться о просмотре и, в конечном итоге, совершить покупку. Cars Online взимает с продавцов небольшую ежемесячную плату за размещение объявлений на платформе. Для получения дохода на основе подписки процесс регистрации и создания объявлений для продавцов максимально упрощен.
Проблема в том, что некоторые объявления на платформе могут оказаться поддельными. Непреднамеренным следствием снижения барьеров для создания объявлений является то, что злоумышленники могут создавать поддельные аккаунты продавцов и создавать поддельные объявления (часто выдавая себя за настоящие автосалоны), чтобы заманить и потенциально обмануть ничего не подозревающих покупателей. Поддельные объявления могут оказывать негативное влияние на бизнес Cars Online двумя способами. Во-первых, опасаясь ущерба репутации, пострадавшие продавцы могут размещать свои объявления на других конкурирующих платформах, публично критиковать Cars Online за, по-видимому, слабые стандарты безопасности (что может побудить других продавцов также покинуть платформу) и даже подавать иски о возмещении ущерба. Во-вторых, пострадавшие покупатели (и те, кто узнает о случаях мошенничества из прессы, социальных сетей, а также от друзей и родственников) также могут покинуть платформу и написать негативные отзывы в интернете — всё это может ещё больше убедить продавцов (основной источник дохода платформы) уйти.
В связи с этим директор по продукту (CPO) компании Cars Online поручил менеджеру по продукту и кросс-функциональной команде, состоящей из представителей службы поддержки клиентов, специалистов по анализу данных и инженеров, оценить возможность использования ИИ для борьбы с мошенническими объявлениями. Директору по продукту не интересны просто мнения — ему нужна основанная на данных оценка чистой выгоды от внедрения системы ИИ, которая поможет быстро обнаруживать и удалять мошеннические объявления с платформы, прежде чем они нанесут ущерб.
Анализ ожидаемой стоимости может быть использован для оценки чистой стоимости системы искусственного интеллекта, учитывая вероятности правильных и неправильных прогнозов, а также их соответствующие выгоды и издержки. В частности, можно выделить четыре случая: (1) правильно обнаруженные поддельные объявления (истинно положительные результаты), (2) легитимные объявления, ошибочно принятые за поддельные (ложно положительные результаты), (3) правильно обнаруженные легитимные объявления (истинно отрицательные результаты) и (4) поддельные объявления, ошибочно принятые за легитимные (ложно отрицательные результаты). Чистый денежный эффект C(i) каждого случая i можно оценить с помощью исторических данных и интервью с заинтересованными сторонами. Как истинно положительные, так и ложно положительные результаты приведут к определенным усилиям Cars Online по удалению выявленных объявлений, но ложно положительные результаты приведут к дополнительным затратам (например, к потере дохода из-за удаления легитимных объявлений и затратам на их восстановление). Между тем, в то время как истинно отрицательные результаты не должны влечь за собой никаких затрат, ложно отрицательные результаты могут быть дорогостоящими — они представляют собой то самое мошенничество, с которым CPO стремится бороться.
При наличии модели ИИ с определённой точностью предсказания, если P(i) обозначает вероятность того, что каждый случай i возникнет на практике, то сумма S = C(1)*P(1) + C(2)*P(2) + C(3)*P(3) + C(4)*P(4) отражает ожидаемое значение каждого предсказания (см. рисунок 1 ниже). Тогда общее ожидаемое значение для N предсказаний будет равно N*S.
Основываясь на профиле предиктивной эффективности данной модели ИИ и оценках ожидаемой ценности для каждого из четырёх случаев (от истинно положительных до ложноотрицательных), директор по закупкам может лучше оценить ожидаемую ценность создания системы ИИ для обнаружения мошенничества и принять соответствующее решение о реализации проекта. Конечно, дополнительные фиксированные и переменные затраты, обычно связанные с созданием, эксплуатацией и обслуживанием систем ИИ, также должны учитываться при принятии общего решения.
В этой статье рассматривается похожий пример: рекрутинговое агентство решает внедрить систему искусственного интеллекта для выявления и приоритизации хороших кандидатов (кандидатов, которые с большой вероятностью будут приняты клиентами) по сравнению с плохими. Читателям рекомендуется ознакомиться с этим примером и поразмышлять о сходствах и различиях с тем, что обсуждается здесь.
Пример 2: Автоматическое выполнение заказов на закупку
Отдел закупок компании ACME Auto, американского автопроизводителя, ежемесячно формирует значительное количество заказов на закупку. Для производства одного автомобиля требуется несколько тысяч отдельных деталей, которые необходимо закупить вовремя и в соответствии с требуемыми стандартами качества у проверенных поставщиков. Команда специалистов по закупкам отвечает за ручное создание заказов на закупку; это включает в себя заполнение онлайн-формы, состоящей из нескольких полей данных, которые определяют точные характеристики и количество каждого товара, закупаемого по заказу. Само собой разумеется, что это трудоемкий и подверженный ошибкам процесс, и в рамках общекорпоративной инициативы по сокращению расходов директор по закупкам ACME Auto поручила кросс-функциональной команде по продуктам в своем отделе существенно автоматизировать создание заказов на закупку с помощью ИИ.
Проведя исследование пользователей в тесном сотрудничестве с менеджерами по закупкам, команда разработчиков решила создать функцию ИИ для автоматического заполнения полей в заказах на закупку. ИИ может автоматически заполнять поля на основе комбинации любых исходных данных, предоставленных менеджером по закупкам, и другой релевантной информации, полученной из таблиц основных данных, данных с производственных линий и т. д. Менеджер по закупкам может затем просмотреть автоматически заполненный заказ и выбрать: принять предложения (т. е. прогнозы), сгенерированные ИИ, для каждого поля или заменить неверные предложения ручным вводом. В случаях, когда ИИ не уверен в правильности значения для заполнения (например, низкий уровень уверенности модели для данного прогноза), поле остаётся пустым, и менеджер должен вручную ввести в него подходящее значение. Функция ИИ для гибкого автоматического заполнения форм таким образом может быть реализована с использованием подхода, называемого шумоподавлением, описанного в этой статье.
Чтобы обеспечить высокое качество, команда разработчиков хотела бы установить пороговое значение для оценки достоверности модели, чтобы пользователю показывались (т.е. использовались для автоматического заполнения формы заказа) только прогнозы с оценкой достоверности выше этого порогового значения. Вопрос в следующем: какое пороговое значение следует выбрать?
Пусть c1 и c2 — выигрыши за показ пользователю верных и неверных прогнозов (из-за превышения порога уверенности) соответственно. Пусть c3 и c4 — выигрыши за отсутствие показа пользователю верных и неверных прогнозов (из-за превышения порога уверенности) соответственно. Предположительно, должен быть положительный выигрыш (т.е. выгода) от показа верных прогнозов (c1) и отсутствия неверных (c4). Напротив, c2 и c3 должны быть отрицательными выигрышами (т.е. издержками). Выбор слишком низкого порога увеличивает вероятность отображения неверных прогнозов, которые сотруднику придётся корректировать вручную (c2). Но выбор слишком высокого порога увеличивает вероятность того, что верные прогнозы не будут показаны, и в форме заказа на покупку останутся пустые поля, которые сотруднику придётся заполнить вручную (c3). Таким образом, перед командой разработчиков продукта встаёт непростая задача — может ли анализ ожидаемого значения помочь её решить?
В результате команда может оценить разумные значения коэффициентов выигрыша c1, c2, c3 и c4, используя результаты исследований пользователей и опыт в данной области бизнеса. Более того, специалисты по анализу данных в команде по продукту могут оценить вероятности возникновения этих затрат, обучив пример модели ИИ на наборе данных исторических заказов на закупки в ACME Auto и проанализировав результаты. Предположим, что k — это оценка достоверности, присвоенная прогнозу. Тогда, учитывая предопределенный порог достоверности модели t, пусть q(k > t) обозначает долю прогнозов с оценкой достоверности выше t; именно эти прогнозы будут использоваться для автоматического заполнения формы заказа на закупку. Доля прогнозов с оценкой достоверности ниже порогового значения равна q(k ≤ t) = 1 – q(k > t). Кроме того, пусть p(k > t) и p(k ≤ t) обозначают среднюю точность прогнозов с оценкой достоверности выше t и не выше t соответственно. Ожидаемое значение (или ожидаемый выигрыш) S для каждого прогноза можно получить, суммируя ожидаемые значения, относящиеся к каждому из четырёх факторов выигрыша (обозначенных s1, s2, s3 и s4), как показано на рисунке 2 ниже. Задача команды разработчиков заключается в том, чтобы протестировать различные пороговые значения t и определить то, которое максимизирует ожидаемый выигрыш S.
Пример 3: Стандартизация руководства по проектированию ИИ
Генеральный директор Ex Corp, глобального поставщика корпоративного программного обеспечения, недавно заявила о своем намерении сделать компанию «ИИ-первым направлением» и оснастить все ее продукты и услуги ценными функциями ИИ. Для поддержки этой общекорпоративной трансформации директор по продуктам поручил центральной команде дизайнеров Ex Corp создать согласованный набор руководств по проектированию, которые помогут командам создавать продукты на основе ИИ, улучшающие пользовательский опыт. Ключевая задача заключается в поиске компромисса между созданием слишком слабых/обобщенных рекомендаций (предоставляющих отдельным продуктовым командам большую свободу интерпретации, но создающих риск непоследовательного применения рекомендаций между продуктовыми командами) и слишком строгих рекомендаций (принудительно применяющих стандартизацию между продуктовыми командами без должного учета исключений или потребностей в настройке, специфичных для конкретного продукта).
Одно из благих намерений, изначально предложенное центральной командой дизайнеров, предполагает отображение меток рядом с прогнозами в пользовательском интерфейсе (например, «лучший вариант», «хорошая альтернатива» и т.п.), чтобы дать пользователям некоторое представление об ожидаемом качестве/релевантности прогнозов. Предполагается, что отображение таких качественных меток поможет пользователям принимать обоснованные решения при взаимодействии с продуктами ИИ, не перегружая их сложной для интерпретации статистикой, такой как оценки достоверности модели. В частности, центральная команда дизайнеров считает, что, установив согласованный глобальный набор пороговых значений достоверности модели, можно создать стандартизированное сопоставление для перевода оценок достоверности модели в качественные метки для продуктов Ex Corp. Например, прогнозы с оценкой достоверности выше 0,8 можно пометить как «лучшие», прогнозы с оценкой достоверности от 0,6 до 0,8 — как «хорошие» и так далее.
Как мы видели в предыдущем примере, анализ ожидаемого значения можно использовать для определения порогового значения достоверности модели для конкретного варианта использования, поэтому возникает соблазн попытаться распространить этот порог на все варианты использования в портфеле продуктов. Однако это сложнее, чем кажется на первый взгляд, и теория вероятностей, лежащая в основе анализа ожидаемого значения, может помочь нам понять, почему. Рассмотрим две простые игры: подбрасывание монеты и бросок игральной кости. Подбрасывание монеты предполагает два возможных результата: выпадение орла или решки, каждый с вероятностью 1/2 (при условии, что монета честная). В то же время, как мы уже обсуждали, подбрасывание честной шестигранной игральной кости приводит к шести возможным результатам для верхней грани (1, 2, 3, 4, 5 или 6 пунктов), каждый с вероятностью 1/6. Ключевой момент здесь заключается в том, что по мере увеличения числа возможных результатов случайной величины (также называемого мощностью множества результатов) становится всё сложнее правильно угадать исход произвольного события. Если вы предполагаете, что при следующем подбрасывании монеты выпадет орёл, в среднем вы окажетесь правы в половине случаев. Но если вы предполагаете, что при следующем броске кубика выпадет какое-то конкретное число (например, 3), в среднем вы окажетесь правы лишь в одном случае из шести.
А что, если бы мы установили глобальный порог достоверности, скажем, 0,4 для игр с монетами и костями? Если модель ИИ для игры в кости предсказывает выпадение 3 при следующем броске с уровнем достоверности 0,45, то мы могли бы с радостью назвать этот прогноз «хорошим» или даже «отличным»; в конце концов, уровень достоверности превышает предопределенный глобальный порог и значительно превышает 1/6 (вероятность успеха случайного подбрасывания). Однако, если модель ИИ для игры в монеты предсказывает выпадение орла при следующем подбрасывании монеты с тем же уровнем достоверности 0,45, мы можем заподозрить это ложное срабатывание и вообще не показывать прогноз пользователю; хотя уровень достоверности превышает предопределенный порог, он все еще ниже 0,5 (вероятность успеха случайного подбрасывания).
Приведённый выше анализ предполагает, что единое, универсальное требование об отображении качественных меток рядом с прогнозами следует исключить из стандартизированного руководства по проектированию для сценариев использования ИИ. Вместо этого, возможно, следует предоставить отдельным командам разработчиков возможность принимать решения о том, как отображать качественные метки (если вообще нужно), в зависимости от конкретного сценария использования.
Обертка
Принятие решений в условиях неопределенности является ключевой проблемой для команд разработчиков продуктов ИИ и, вероятно, приобретет еще большую значимость в будущем, где ИИ будет доминировать. В этом контексте анализ ожидаемой ценности может помочь в управлении продуктами ИИ. Ожидаемая ценность неопределенного результата представляет собой теоретическую, долгосрочную, среднюю ценность этого результата. В данной статье, используя примеры из реальной жизни, показано, как анализ ожидаемой ценности может помочь командам принимать обоснованные стратегические решения в условиях неопределенности на протяжении всего жизненного цикла продукта.
Однако, как и в случае любого подобного подхода к математическому моделированию, стоит подчеркнуть два важных момента. Во-первых, расчёт ожидаемой стоимости настолько хорош, насколько хороша его структурная полнота и точность входных данных. Если не включены все соответствующие факторы стоимости, расчёт будет структурно неполным, а полученные результаты — неточными. Использование концептуальных моделей, таких как матрицы и древовидные диаграммы, показанные на рисунках 1 и 2 выше, может помочь командам проверить полноту своих расчётов. Читатели могут обратиться к этой книге, чтобы узнать, как использовать концептуальные модели. Если данные и/или предположения, использованные для получения значений результатов и их вероятностей, неверны, то полученное ожидаемое значение будет неточным и потенциально опасным при использовании для принятия стратегических решений (например, для ошибочного прекращения поддержки перспективного продукта). Во-вторых, обычно рекомендуется сочетать количественный подход, такой как анализ ожидаемой стоимости, с качественными подходами (например, интервьюированием клиентов, наблюдением за взаимодействием пользователей с продуктами) для получения полной картины. Качественная информация может помочь нам проверить правильность входных данных для расчета ожидаемого значения, лучше интерпретировать количественные результаты и в конечном итоге вывести целостные рекомендации для принятия решений.
Источник: towardsdatascience.com
