Система оценок на основе вопросов для определения приоритетности и снижения рисков инициатив в области ИИ перед их реализацией
Делиться
Недавние исследования показывают, что большинство пилотных проектов в области ИИ терпят неудачу — не из-за технических недостатков, а из-за сложностей с адаптацией новых технологий к существующим организационным структурам. Внедрение моделей ИИ может показаться простым, но реальные препятствия часто заключаются в интеграции этих решений с персоналом , процессами и продуктами организации. Эта концепция, обычно называемая «3P» (столпами управления проектами), предоставляет практический подход к оценке готовности к внедрению ИИ.
В этой статье я представлю структуру, которая поможет командам оценивать и расставлять приоритеты в отношении инициатив ИИ, задавая целевые, контекстно- зависимые вопросы по этим трем столпам, обеспечивая выявление и управление рисками до начала внедрения.
Независимо от того, занимаетесь ли вы технической или деловой стороной принятия решений в процессе ИИ, концепции, которые я излагаю в этой статье, призваны охватить оба аспекта.
Проблема реализации вариантов использования ИИ
Представьте, что вам предоставили список из более чем 100 потенциальных вариантов использования ИИ в рамках глобальной компании. Более того, учтите, что список вариантов использования разбит на ряд конкретных запросов отделов, которые команда разработчиков должна выполнить.
Отдел маркетинга ищет чат-бота для общения с клиентами. Финансовый отдел хочет автоматизировать обработку счетов. HR-отдел запрашивает инструмент для обобщения тысяч резюме. Каждый запрос поступает от разных спонсоров, с разным уровнем технической детализации и разной степенью срочности, часто обусловленной необходимостью как можно скорее добиться видимых результатов от использования ИИ.
В этом сценарии представьте, что команда доставки решает начать внедрять, казалось бы, самые быстрые решения и даёт зелёный свет маркетинговому чат-боту. Но после первоначального импульса начинаются проблемы.
Во-первых, это проблемы с персоналом . Например, маркетинговый чат-бот зависает, поскольку две команды в отделе не могут договориться о том, кто за него отвечает, что тормозит разработку.
После решения этой проблемы возникают проблемы с процессом . Например, чат-боту нужны актуальные данные о клиентах, но получение одобрения от юридических и комплаенс-отделов занимает месяцы, а для дополнительной «административной» работы нет никого.
Даже когда эта проблема решена, сам продукт сталкивается с трудностями. Например, команда обнаруживает, что чат-бот «быстрой победы» не может легко интегрироваться с основными внутренними системами компании, что лишает его возможности предоставлять клиентам реальную ценность, пока эта проблема не будет решена.
Наконец, спустя более чем полгода, бюджеты исчерпаны, заинтересованные стороны разочарованы, а первоначальный ажиотаж вокруг ИИ угас. К счастью, именно этого и призвана избежать структура AI-3P.
Прежде чем углубляться в концепцию фреймворка, давайте сначала рассмотрим, что показывают недавние исследования относительно того, почему попытки создания искусственного интеллекта идут не так, как надо.
Почему инициативы в области ИИ терпят крах?
Энтузиазм вокруг ИИ, а точнее, генеративного ИИ, продолжает расти с каждым днём, и мы читаем множество историй об этих инициативах. Но не все они заканчиваются позитивом. Отражая эту реальность, недавнее исследование Массачусетского технологического института, проведённое в июле 2025 года, привело к появлению заголовка в журнале Fortune: «95% пилотных проектов по внедрению генеративного ИИ в компаниях терпят неудачу».
Часть отчёта, относящаяся к нашей цели, посвящена причинам провала этих инициатив. Цитата из статьи в журнале Fortune:
В отчете говорится, что самая большая проблема заключалась не в том, что модели ИИ были недостаточно эффективны (хотя руководители склонны были считать, что проблема именно в этом). Вместо этого исследователи обнаружили «пробел в обучении» — люди и организации просто не понимали, как правильно использовать инструменты ИИ или как проектировать рабочие процессы , которые могли бы использовать преимущества ИИ, минимизируя при этом риски потерь .
…
В отчёте также говорится, что компании, приобретавшие ИИ-модели и решения, добились большего успеха, чем те, кто пытался создать собственные системы. Покупка ИИ-инструментов оказалась успешной в 67% случаев , тогда как внутренние разработки оказались успешными лишь в три раза реже.
…
Основная идея доклада Массачусетского технологического института заключалась в том, что проблема заключалась не в технологиях , а в том, как компании их используют.
…
Учитывая все это, я хочу подчеркнуть важность лучшего понимания рисков перед реализацией вариантов использования ИИ.
Другими словами, если большинство проектов в области ИИ терпят неудачу не из-за самих моделей, а из-за проблем, связанных с владением, рабочими процессами, или управление изменениями, то нам необходимо провести предварительную работу по оценке новых инициатив. Для этого мы можем адаптировать классические бизнес-основы для внедрения технологий — людей и процессы, — сосредоточившись на конечном продукте.
Эти размышления привели меня к разработке практической оценочной карты, основанной на трех столпах для принятия решений на этапе предварительной разработки ИИ: AI-3P с BYOQ (приносите свои вопросы).
Основная идея данной структуры заключается в том, чтобы приоритизировать варианты использования ИИ, предоставляя вам собственные вопросы, учитывающие контекст, которые позволят оценить ваши возможности использования ИИ и сделать риски очевидными до начала практического внедрения.
Давайте начнем с объяснения сути фреймворка.
Оценка BYOQ по 3P
Как указывалось ранее, концепция структуры основана на рассмотрении каждого потенциального варианта использования ИИ с учетом трех столпов, определяющих успех: люди, процесс и продукт.
Для каждого столпа мы приводим примеры вопросов BYOQ, сгруппированных по категориям, которые можно использовать для оценки конкретного запроса на внедрение ИИ.
Вопросы сформулированы таким образом, что возможными комбинациями ответов и оценок являются «Нет/Неизвестно» (= 0), «Частично» (= 1) и «Да/Неприменимо» (= 2).
После присвоения баллов каждому вопросу мы суммируем общий балл по каждому столпу, и это число далее используется в уравнении взвешенной готовности AI-3P.
Имея это в виду, давайте подробнее рассмотрим каждый столп.
Прежде чем приступить к рассмотрению моделей и кода, нам следует убедиться, что «человеческий элемент» готов к инициативе в области ИИ.
Это означает подтверждение наличия поддержки со стороны бизнеса (спонсорства) и ответственного владельца, способного провести проект через неизбежные препятствия. Успех также зависит от честной оценки навыков команды разработчиков в таких областях, как машинное обучение. Но помимо этих технических навыков, инициативы в области ИИ могут легко потерпеть неудачу без продуманного плана внедрения среди конечных пользователей, что делает управление изменениями неотъемлемой частью уравнения.
Вот почему цель этого столпа — BYOQ заключается в доказательстве того, что право собственности, возможности и принятие существуют до начала фазы разработки.
Затем мы можем сгруппировать и оценить вопросы в столбце «Люди» следующим образом:
Как только мы убедимся, что задали правильные вопросы и присвоили каждому из них оценку по шкале от 0 до 2, где «Нет/Неизвестно» = 0, «Частично» = 1 и «Да/Неприменимо» = 2, следующим шагом будет проверка того, как эта идея согласуется с повседневной деятельностью организации, что подводит нас ко второму столпу.
Принцип «Процессы» заключается в обеспечении соответствия решения по использованию ИИ операционной структуре нашей организации.
Здесь рассматриваются распространённые факторы, тормозящие реализацию проекта, такие как нормативные требования и внутренняя процедура квалификации новых технологий. Кроме того, оцениваются вопросы, связанные с операциями второго дня, которые поддерживают отказоустойчивость продукта.
Таким образом, список BYOQ в этом столбце концептуализирован для понимания рисков в путях управления, соответствия и обеспечения.
Окончательно определив баллы по этому столпу и получив четкое представление о состоянии эксплуатационных ограждений, мы можем обсудить сам продукт.
Здесь мы подвергаем сомнению наши технические предположения, гарантируя, что они основаны на реалиях наших столпов «Люди и процессы».
Всё начинается с фундаментального соответствия «проблема-технология», где нам необходимо определить тип сценария использования ИИ и решить, стоит ли разрабатывать собственное решение или приобретать готовое. Кроме того, мы оцениваем стабильность, зрелость и масштабируемость базовой платформы. Кроме того, мы также рассматриваем вопросы, касающиеся пользовательского опыта и общей экономической эффективности столпа «Продукт».
В результате вопросы по этому столпу призваны проверить технические решения, опыт конечного пользователя и финансовую жизнеспособность решения.
Теперь, когда мы рассмотрели все «что», «как» и «кто», пришло время объединить все это и превратить эти концепции в действенное решение.
Объединение 3P
После объединения оценок от 3P принимается решение «готов/частично готов/не готов», и итоговая таблица для конкретного запроса ИИ выглядит следующим образом:
Как видно из Таблицы 4, основная логика структуры заключается в преобразовании качественных ответов в количественную оценку готовности ИИ.
Подведем итоги и расскажем, как работает этот пошаговый подход:
Шаг 1: Мы рассчитываем предварительный балл, т.е. фактический балл по каждому столпу, отвечая на список пользовательских вопросов (BYOQ). Каждому ответу присваивается значение:
- Нет/Неизвестно = 0 баллов. Это тревожный сигнал или существенная неопределенность.
- Частично = 1 балл. Есть некоторый прогресс, но проблема не решена полностью.
- Да/Неприменимо = 2 балла. Требование выполнено или не имеет отношения к данному варианту использования.
Шаг 2: Мы присваиваем определенный вес общему баллу каждого столпа. В приведенном выше примере, основанном на результатах исследования Массачусетского технологического института, вес намеренно смещен в сторону столпа «Люди», и присвоенные веса составляют: 40% — люди, 35% — процессы и 25% — продукт.
После присвоения весов мы рассчитываем взвешенную оценку по каждому столпу следующим образом:
Шаг 3: Мы суммируем взвешенные баллы, чтобы получить балл готовности AI-3P , число от 0 до 100. Этот балл помещает каждую инициативу в области ИИ в один из трех уровней эффективности:
- 80–100: Строить сейчас . Это зелёный свет. Это означает, что ключевые элементы готовы, риски понятны, и реализация может продолжаться в соответствии со стандартными требованиями проекта.
- 60–79: Пилотный проект с ограничениями . Действуйте осторожно. Другими словами, идея заслуживает внимания, но некоторые недоработки могут сорвать проект. Рекомендуется устранить от трёх до пяти основных рисков, а затем запустить пилотный проект с ограниченными сроками, чтобы лучше изучить возможность реализации варианта использования, прежде чем принимать окончательное решение.
- 0–59: Сначала снизить риски . Остановите и устраните выявленные пробелы, которые указывают на высокий риск провала оцениваемой инициативы в области ИИ.
Подводя итог, можно сказать, что решение является результатом формулы готовности AI-3P:
Это процесс оценки индивидуального запроса ИИ с упором на индивидуально разработанные вопросы, касающиеся людей, процессов и продуктов.
Но что, если у нас есть портфель запросов ИИ? Простое внедрение фреймворка для их приоритизации на организационном уровне происходит следующим образом:
- Создайте список вариантов использования ИИ. Начните со сбора всех предлагаемых инициатив в области ИИ по всему бизнесу. Сгруппируйте их по отделам (маркетинг, финансы и т. д.), пути пользователя или влиянию на бизнес, чтобы выявить пересечения и зависимости.
- Оцените отдельные запросы на ИИ вместе с командой, ответив на заранее подготовленные вопросы. Соберите в одной комнате владельцев продукта, технических руководителей, владельцев данных, руководителей и ответственных за риски/соответствие (и других ответственных лиц). Оцените каждый запрос на ИИ всей командой, используя BYOQ.
- Отсортируйте все оцененные варианты использования по баллу AI‑3P. После расчета совокупного балла по каждому столпу и взвешенного показателя готовности AI-3P для каждого варианта использования ИИ, ранжируйте все инициативы в области ИИ. В результате получится объективный список приоритетов с поправкой на риск. Наконец, выберите n лучших вариантов использования, которые преодолели порог для полной сборки, и проведите дополнительную проверку соотношения риска и выгоды, прежде чем инвестировать в них ресурсы.
Теперь давайте рассмотрим некоторые важные детали того, как эффективно использовать эту структуру.
Настройка фреймворка
В этом разделе я поделюсь некоторыми заметками о том, что следует учитывать при персонализации платформы AI-3P.
Во-первых , хотя «Приносите свои вопросы» Логика разработана для гибкости, но всё же требует стандартизации. Важно составить фиксированный список вопросов перед началом использования фреймворка, чтобы каждый вариант использования ИИ имел «равные шансы» на оценку в разные периоды времени.
Во-вторых , в рамках «Не применимо» Ответ «(NA)» оценивается в 2 балла (так же, как ответ «Да») за вопрос, что позволяет считать его непроблемным для данного варианта использования. Хотя это упрощает расчёт, важно отслеживать общее количество ответов «NA» для данного проекта. Хотя теоретически большое количество ответов «NA» может указывать на проект меньшей сложности, в реальности это позволяет обойти многие препятствия при реализации. Было бы разумно указывать соотношение NA по каждому столпу и ограничить вклад NA примерно 25% от максимального значения для столпа, чтобы предотвратить получение «зелёных» баллов, основанных на неприменимых критериях.
То же самое справедливо для «Неизвестного». ответы с оценкой 0, которые представляют собой полную «слепую зону» и, возможно, должны быть помечены как относящиеся к уровню «сначала снижение рисков», если знания отсутствуют в определенных категориях, таких как «Владение», «Соблюдение» или «Бюджет».
В-третьих , веса столпов (в примере выше: 40% — люди, 35% — процессы, 25% — продукт) следует рассматривать как корректируемую метрику, которая может быть привязана к отрасли или организации. Например, в отраслях с высоким уровнем регулирования, таких как финансы, столп процессов может иметь больший вес из-за строгого соблюдения нормативных требований. В этом случае можно рассмотреть возможность корректировки весов до 35% — люди, 45% — процессы, 20% — продукт.
Такая же гибкость применима и к уровням принятия решений (80–100, 60–79, 0–59). Организация с высоким уровнем толерантности к риску может снизить порог «создать сейчас» до 75, тогда как более консервативная организация может повысить его до 85. Поэтому важно согласовать логику оценки перед оценкой вариантов использования ИИ.
Как только эти элементы будут готовы, у вас будет все необходимое для начала оценки вариантов использования ИИ.
Источник: towardsdatascience.com
