От идеи к результату: использование ИИ в качестве вашего ускоряющегося второго пилота
Делиться
Революция искусственного интеллекта уже здесь, и она меняет наш образ жизни и работы. Для компаний эта революция открывает двойную возможность. С одной стороны, это возможность решать ранее чрезвычайно сложные задачи и создавать невероятные новые продукты и функции. С другой стороны, это обещание повысить эффективность решения широкого спектра задач.
Многие ресурсы охватывают ту или иную возможность, но как менеджер по продукту машинного обучения и искусственного интеллекта (ML/AI) я заинтересован в том, чтобы рассматривать обе возможности одновременно. На самом деле это означает: как успешно разрабатывать решения на базе ИИ, ускоряя их самим ИИ . Основываясь на своём опыте и знаниях, я разделил этот процесс на пять этапов: генерация идей, проектирование и планирование, разработка, внедрение, а также влияние и мониторинг. На каждом этапе мы рассмотрим, что должно произойти, а также как использовать ИИ для повышения эффективности и качества.
Фаза 1: Идеация
Целью этого этапа является переход от общей цели к конкретному приоритетному решению.
Первый и самый важный шаг — помнить, что ИИ — это инструмент, а не решение . Всегда начинайте с проблемы, которую необходимо решить. Она должна быть напрямую связана с общими OKR вашей компании и подтверждена данными исследований пользователей и данными.
После чёткого определения проблемы проведите мозговой штурм различных решений . Они должны включать как традиционные подходы без использования ИИ, так и потенциальные функции на базе ИИ. Расставьте приоритеты для этих решений, используя структурированный метод. Фреймворк, подобный RICE (Reach, Impact, Confidence, Effort), позволяет принимать решения на основе данных, сопоставляя потенциальную ценность каждого решения с его стоимостью. В случае решений на основе ИИ помните, что «усилия» включают в себя работу со сложными задачами ИИ, такими как сбор данных, оценка системы или определение необходимых ограничений.
Чтобы эта статья не получилась слишком абстрактной, я приведу в пример свой любимый пример использования торговой площадки. Распространённая проблема пользователей торговых площадок — это время и усилия, которые требуются для размещения новых товаров (например, определение правильной цены, категории, написание описания и т.д.). Данные позволяют количественно оценить эту проблему: высокий процент пользователей начинает создавать объявление, но так и не заканчивает.
Для решения этой проблемы можно рассмотреть традиционные решения, не основанные на ИИ, например, шаблоны, советы по каждой области или оптимизацию процесса адаптации. Или же можно изучить решения на базе ИИ, например, использование большой языковой модели (LLM) для создания описания продукта или подбора категории. Однако ИИ — действительно крутой инструмент, поскольку его можно применять в различных сценариях и приложениях, задачи, которые раньше казались сложными, теперь решаемы, и он снижает барьеры для входа в прогностические модели.
Создание продуктов на базе ИИ всегда кажется проще, чем есть на самом деле. Главные скрытые сложности — это интеграция недетерминированных вероятностных моделей (обеспечение релевантности, согласованности и безопасности их результатов…) и стремление к конкурентному преимуществу (ваш основной инструмент — внешний поставщик, которым может воспользоваться любой конкурент).
⚡️ Ускорение фазы формирования идей с помощью ИИ
- Инструменты для мозгового штурма : чат-боты на основе ИИ, такие как ChatGPT от OpenAI, Gemini от Google, Claude от Anthropic или Perplexity, могут стать дополнительным участником команды для мозгового штурма. Вы можете подсказать им болевые точки ваших пользователей и предложить широкий спектр потенциальных решений, как традиционных, так и основанных на ИИ. Рассмотрите и протестируйте различные варианты чат-ботов на основе ИИ: получение ответов от простых LLM, получение ответов с использованием LLM и возможностей «рассуждения» (версии модели «подсказки цепочки мыслей» или «рассуждения», например, Gemini 2.5 Pro, OpenAI o3 и т.д.), получение ответов с использованием LLM и результатов веб-поиска, а также функции глубокого исследования.
- Инструменты для управления знаниями : такие платформы, как Notion AI, Mem, Tettra или Glean, могут помочь вам организовать ваши исследования и идеи, используя ИИ для подключения к соответствующим внутренним знаниям и информации.
Этап 2: Проектирование и планирование решения
Целью этого этапа является выбор приоритетного решения, оценка и снижение потенциальных рисков, определение его MVP и создание конкретного плана проекта и первоначальных чертежей.
Имея на руках приоритетное решение GenAI, реализацию следует проектировать комплексно по четырем направлениям:
- Сбор данных, вводимых пользователем, и соответствующего контекста (переход от подсказок к разработке контекста)
- Выбор и настройка правильной модели (баланс стоимости, задержки и производительности)
- Формирование и оценка результатов по качеству и безопасности
- Достижение результатов посредством эффективного UX/UI, поддерживающего доверие и обратную связь пользователей.
На протяжении всего процесса команды должны внедрять методы мониторинга, оценки и управления рисками (включая устранение предвзятости, соответствие требованиям и наблюдаемость) для обеспечения надёжности, масштабируемости и достоверности. Если вы создаёте продукт на основе ИИ, ещё одним важным этапом этого этапа является оценка четырёх основных рисков управления продуктом: ценности, удобства использования, осуществимости и жизнеспособности.
Учитывая всё это, мы приступаем к дальнейшему проектированию и планированию проекта. На этом этапе важно понять, как начать с малого ( минимально ценный продукт ), а затем расширяться и итерироваться, как только ценность будет доказана.
В нашем примере с торговой площадкой рассмотрим функцию, которая предлагает описание и категорию на основе названия товара. Поток может выглядеть следующим образом: пользователь вводит название товара, которое затем используется для формирования запроса на получение статуса LLM. Модель возвращает предлагаемое описание и категорию, которые предварительно заполнены и доступны для редактирования пользователем.
Риски, связанные с этой функцией, можно разделить по категориям. С точки зрения удобства использования и ценности, функция знакома и доступна для редактирования, что положительно сказывается на пользовательском опыте. Основной риск заключается в том, что ИИ может создавать галлюцинации или выдавать нерелевантные предложения, что необходимо оценить с помощью оценок на этапе разработки. Для обеспечения осуществимости необходимо создать описание и категорию с использованием текущих возможностей LLM. А для обеспечения жизнеспособности необходимо учитывать этические риски, например, создание предвзятых или дискриминационных предложений (например, чистящее средство -> «идеально подходит для женщин»), что также требует специальной оценки на этапе разработки.
Все компоненты системы искусственного интеллекта должны быть взаимосвязаны для обеспечения доверия и ценности. Каждый потенциальный риск, выявленный вами сейчас, обязательно включите в свой будущий план оценки.
⚡️ Ускорение фазы с помощью ИИ
- Инструменты для написания : ускорьте создание документа с требованиями к продукту (PRD) с помощью таких инструментов, как ChatPRD. Вы также можете улучшить ясность и качество текста с помощью таких помощников, как Grammarly или Quillbot, и даже получить конкретную обратную связь по вашему тексту с помощью Quarkle.
- Инструменты для подготовки презентаций : Различные инструменты, такие как Gamma, Pitch или beautiful.ai, предлагают генерацию слайдов из простого текста и других документов.
- Инструменты для прототипирования : ИИ поможет вам создать всё: от простых макетов интерфейса до сложных, полностью функциональных прототипов. Такие инструменты, как Figma Make и Uizard, отлично подходят для прототипов, ориентированных на дизайн, а Claude Artifacts также отлично подходит для быстрого создания прототипов пользовательских интерфейсов. Такие платформы, как Replit, Lovable, V0 и Bolt, позволяют создавать прототипы, близкие к полностью функциональным MVP, генерируя полный стек кода.
Фаза 3: Развитие
На этом этапе вы перейдете от экспериментов с подсказками к подготовке системы к интеграции в вашу платформу.
Здесь происходит быстрая разработка и тестирование различных моделей и подходов с целью получения наилучших результатов, необходимых для вашего варианта использования. Ключевым моментом является подготовка запроса к LLM с конкретными инструкциями, который вернет сгенерированный текст в запрошенном формате (например, JSON-объект, содержащий предлагаемое описание и категорию).
Избегайте ненужного усложнения. Хотя ИИ-агенты — популярная тема, они увеличивают затраты, сложность и недетерминированность. Во многих случаях лучше всего создать предопределённый рабочий процесс, который объединяет вызовы LLM в оптимальный путь .
Оценка — критически важный и часто упускаемый из виду этап разработки. Необходимо убедиться, что прогнозы и результаты генерации модели соответствуют определённому стандарту качества, прежде чем они будут запущены в эксплуатацию, и что риски, выявленные на втором этапе, минимизированы. Это включает в себя определение оценок, специфичных для конкретных вариантов использования, для измерения таких показателей, как галлюцинации, корректность, смещение и производительность, специфичную для конкретной задачи. Для более подробного изучения этой темы вы можете прочитать мою предыдущую публикацию:
Как убедиться, что ваше решение на основе ИИ делает то, что вы ожидаете
В нашем примере с рынком мы могли бы отслеживать процент случаев, когда выходные данные имеют правильный формат, точность прогнозов категорий, релевантность сгенерированных описаний, процент случаев, когда наши выходные данные были предвзятыми или дискриминационными…
Оценки — самый сложный, но необходимый этап разработки. Постарайтесь получить данные, максимально приближенные к будущим реалиям, начните с ручных оценок, а затем масштабируйте их до более автоматизированных.
⚡️ Ускорение фазы с помощью ИИ
- Инструменты для кодирования : Многие инструменты разработки программного обеспечения теперь включают функции генеративного ИИ, которые помогают снизить порог входа в программирование. Такие помощники, как Github Copilot, Cursor, Windsurf или Claude Code, широко используются для подсказки кода, завершения функций и решения задач кодирования. Чат-боты на основе ИИ также широко используются программистами для ускорения реализации кода.
- Инструменты для оценки : LLM используются как для создания входных наборов данных, когда реальные данные недоступны, так и для разработки показателей, которые масштабируются с помощью техники LLM в качестве судьи.
Фаза 4: Развертывание
После разработки и оценки решения вы готовы к его внедрению в эксплуатацию. На этом этапе вы интегрируете решение в процессы и платформу вашей компании для его автоматического использования.
В нашем примере развертывание решения позволит, когда пользователь на платформе публикует продукт, инициировать вызов LLM для получения описания и категории из заголовка, и они будут отображены в соответствующих точках контакта.
Такие облачные провайдеры, как AWS, Azure и Google, предлагают специальные инструменты для ускорения масштабируемой интеграции LLM в вашу платформу. Помимо использования этих инструментов, вам необходимо учитывать такие показатели сервиса, как задержка, чтобы обеспечить комфортный пользовательский опыт.
Серьёзной проблемой генеративного ИИ является принцип «свободного ввода/свободного вывода» этой технологии, что может создавать новые риски. Например, пользователи могут случайно ввести персональные данные или даже попытаться атаковать вашу систему посредством «быстрого внедрения». Именно здесь вступают в действие защитные барьеры . Защитные барьеры — это проверки, которые вы устанавливаете для обеспечения надёжности своего решения. Они могут использоваться для обнаружения и блокировки нежелательных входных данных, а также для обеспечения соответствия выходных данных определённым предопределённым правилам, например, избеганию ненормативной лексики или упоминания конкурентов.
Не просто внедряйте функцию ИИ: ваш план ввода в эксплуатацию не будет полным, если вы не будете готовы к возможным сбоям в работе и, следовательно, не обеспечите наблюдаемость (производительность обслуживания, безопасность, качество…).
⚡️ Ускорение фазы с помощью ИИ
- Инструменты для Guardrails : вы можете реализовать проверки безопасности, используя специальные библиотеки с открытым исходным кодом, такие как Guardrails AI и LangChain, или использовать управляемые сервисы облачных провайдеров, такие как Microsoft Azure AI Content Safety. Эти инструменты, подобно eval, часто включают вызовы LLM для автоматизации проверки Guardrail.
Этап 5: Воздействие и мониторинг
Ваше решение запущено, но работа ещё не закончена. Теперь вам нужно убедиться, что оно продолжает работать так, как и ожидалось, оказывая положительное влияние на пользователей, ваш продукт и бизнес.
Это включает в себя комбинацию:
- Мониторинг услуг , где вы используете такие инструменты, как Datadog, или специализированные платформы, такие как WhyLabs и Arize, для отслеживания работоспособности и качества вашей системы ИИ в процессе производства.
- Количественные данные с аналитическими панелями для оценки влияния функции на ключевые показатели продукта, такие как удержание пользователей и вовлечённость. В нашем примере с торговой площадкой вам нужно будет проверить, приведёт ли новая функция к снижению числа пользователей, отказывающихся от листинга.
- Качественная обратная связь от пользователей для дальнейшего изучения их опыта и выявления областей для улучшения.
⚡️ Ускорение фазы с помощью ИИ
- Инструменты для качественного анализа : Многие поставщики, помогающие собирать отзывы пользователей, такие как Typeform и Canny, теперь внедряют функции ИИ для автоматического анализа и категоризации ответов. Вы также можете напрямую использовать программы LLM для анализа больших объёмов качественной обратной связи. Вместо того, чтобы вручную читать тысячи комментариев, вы можете использовать программу LLM для обобщения тем, классификации отзывов по тональности или теме (например, «неточное предложение», «отзывы об интерфейсе», «проблемы с задержкой») и выявления возникающих проблем.
Не все функции GenAI блестящие✨, но даже менее блестящие могут быть очень эффективными. Решения ИИ, интегрированные в бэкенд и не ориентированные на пользователя, также могут иметь большой потенциал.
Подводя итоги
Разработка решения на базе ИИ — это путь от проблемы пользователя к измеримому результату. Пройдя эти пять этапов, вы сможете преодолеть сложности и риски, значительно повысив шансы на создание чего-то ценного.
В мета-повороте сам ИИ стал вашим творческим партнером в этом путешествии, готовым помочь вам и вашей команде проводить мозговые штурмы, писать код и анализировать отзывы быстрее, чем когда-либо прежде.
Благодаря искусственному интеллекту сейчас очень интересное время для разработки. Остаётся только один вопрос: что вы создадите дальше?
Источник: towardsdatascience.com
