ИИ не захватит мир, но даст вредные советы: обзор кейсов внедрения

Привет! Меня зовут Лев, я системный администратор технической поддержки в Selectel. Мы живем в мире, где достаточно пары запросов в чатах с ИИ, чтобы создать, например, видео с драматическим сюжетом про банан и клубнику. Искусственный интеллект стремительно развивается, и крупные компании активно внедряют его в свои процессы. 

В этой статье я предлагаю рассмотреть несколько практических фейл кейсов использования ИИ в бизнесе.

Давайте прикрутим ИИ куда-нибудь

Хайп вокруг искусственного интеллекта достиг пика: компании стремятся внедрить ИИ везде, где это возможно, нередко не до конца понимая, зачем именно он им нужен. 

Возникает иллюзия, что нейросеть — это универсальная «волшебная кнопка»: достаточно нажать, и процессы автоматически станут быстрее, дешевле и эффективнее.

На практике все оказывается сложнее — без качественных данных, продуманной интеграции и подготовки команды ИИ может не только не помочь, но и усугубить существующие проблемы. Именно поэтому разумнее учиться на чужих, зачастую очень дорогих, ошибках. 

Что наготовил ИИ

Примером использования ИИ ради привлечения внимания клиента может служить случай в Новой Зеландии. 

Сеть супермаркетов Pak’nSave запустила ИИ-инструмент для генерации рецептов на основе имеющихся у пользователя продуктов. Идея выглядела вполне прикладной: помочь покупателям рационально использовать остатки еды в условиях роста цен. Пользователь вводит набор ингредиентов — система предлагает рецепт с комментариями и инструкциями.

На старте внимание привлекли скорее курьезные, но безобидные результаты вроде «овощного рагу с печеньем Oreo». Однако при более широком использовании вскрылись куда более серьезные проблемы. Пользователи начали вводить в систему не только продукты, но и произвольные бытовые вещества и модель стала генерировать потенциально опасные «рецепты».

Среди них — напитки с отбеливателем, блюда с добавлением клея или яда для насекомых, а также так называемая «ароматизированная вода», при приготовлении которой фактически выделяется хлорный газ. При этом система сопровождала такие рецепты позитивными комментариями и не предупреждала о рисках для здоровья, включая возможность серьезного отравления или повреждения легких.

Каталог готовых ИИ-моделей

Сервис для запуска и управления LLM в облаке Selectel. Выберите модель, конфигурацию и получите готовый эндпоинт для работы с ней.

Подробнее →

Плохие данные лучше, чем никаких

Далее мы рассмотрим пример западного конкурента «Вкусно и точка» — McDonald’s. 

Начиная с 2021 года, сеть ресторанов быстрого питания три года тестировала в нескольких пунктах Макавто систему приема заказов на основе ИИ от IBM. Посетители наговаривали заказ ИИ-помощнику, который оформлял его, передавал на кухню и принимал оплату. Целью кампании было упростить процедуру приема заказов и сократить расходы компании на персонал. 

Но все пошло не по плану: из-за недоработок системы ИИ часто ошибался, неверно распознавал речь посетителей, а иногда глючил и начинал бесконечно добавлять в чек ту или иную позицию.

В чем крылась техническая проблема

Голосовой ассистент споткнулся о реальные условия эксплуатации, к которым модель не подготовили на этапе синтетических тестов. На практике система столкнулась с тремя техническими проблемами:

• Шумы (Noisy Data). Алгоритмы не справлялись со звуками улицы, ветра и музыки;;

• Сложная речь. Модель путалась из-за акцентов, оговорок клиентов и детских голосов на фоне (все эти: «эээ», «нуу»);

• Сбои в интеграции с POS-системой. Кассовая система принимала фоновый шум за повтор команды и циклично добавляла в корзину лишние товары.

Продукт выпустили в продакшен слишком рано. Кейс доказывает: нельзя внедрять автоматизацию на основе одних лишь синтетических метрик качества (вроде WER). Перед релизом ИИ-системы требуют жестких стресс-тестов в реальных условиях, аугментации данных шумами и подстраховки со стороны операторов.

Игнорирование законов

В октябре 2023 года в Нью-Йорке запустили чат-бота, предназначенного для помощи предпринимателям в разборе местных законов и регуляций. Однако на практике решение, построенное на базе Microsoft Azure OpenAI, регулярно выдавало рекомендации, следование которым могло привести к прямым нарушениям законодательства.

Проект обошелся городу примерно в $600 000, но уже в марте 2024 года журналисты The Markup выявили системные ошибки в его работе. В ходе тестирования бот, например, советовал работодателям присваивать часть чаевых сотрудников, отказывать в аренде жильцам с субсидиями и игнорировать обязательный прием наличных — все эти действия противоречат действующим законам.

Более того, в ряде случаев ответы выглядели откровенно абсурдными. На вопрос о допустимости подачи клиентам сыра, подъеденного грызунами, бот ответил положительно, предложив лишь «оценить степень съеденности и «проинформировать клиентов».

Проблемы проявлялись и в базовых вещах: система не знала актуальный уровень минимальной заработной платы и допускала дискриминационные практики, например, в отношении арендаторов с ваучерами по программе Section 8. 

Системные ошибки

Разработчики MyCity переоценили базовые возможности LLM «из коробки» и не уделили должного внимания архитектуре RAG (Retrieval-Augmented Generation). Система выдавала некорректные ответы из-за двух критических просчетов:

• Сырая база знаний. В ИИ загрузили массив документов без разметки актуальности. В итоге модель путала старые нормативные акты с действующими;

• Слабый системный промпт. У модели не было жестких инструкций блокировать провокационные или абсурдные вопросы. Вместо безопасной заглушки («Я не могу ответить на этот вопрос») LLM додумывала факты, опираясь на свои веса.

Кейс подтверждает: без предварительной очистки датасетов, строгой проверки доменной экспертизы и жестких контент-фильтров внедрять ИИ в бизнес-процессы нельзя. В противном случае система будет генерировать юридически опасные и недостоверные рекомендации.

Сопротивление сотрудников и «убийство» ценности

Человек — враг ИИ. Вернее, тот, кто в большей степени мешает его интеграции. Часто проекты терпят неудачу не из-за несовершенства технологии, а из-за человеческого фактора. По данным аналитиков Cloud Security Alliance, сопротивление персонала становится одной из главных причин провалов 70–80% проектов по внедрению ИИ.

Начнем со старенького кекса — IBM и ее чат-бота AskHR. В 2017 году компания запустила ИИ-помощника для сотрудников по кадровым вопросам — знаете, из серии «как оформить отпуск» или «где взять справку». Однако, как вспоминает HR-директор IBM Николь ЛаМоро, «когда мы начинали этот путь, мы подходили к нему как к техническому изменению: вот технический инструмент. И случилось то, что никто им не пользовался. Технология была, инструмент был, но поведения не было» (проще говоря, менять свои привычки и пользоваться ботом никто не стал). 

Тогда IBM пошла по пути принуждения: в 2018 году более 20 000 сотрудников обязали использовать чат-бота вместо привычного обращения в HR-отдел. Результат оказался негативным: индекс лояльности HR-департамента рухнул с +19 до -35. Как признала ЛаМоро: «Мы пытались навязать изменение поведения, но думали об этом с точки зрения HR-команды, а не сотрудников».

Масштаб проблемы подтверждает исследование ActivTrak Productivity Lab, аналитики которого изучили поведение 163 000 сотрудников на дистанции в 443 млн рабочих часов. С одной стороны, интеграция ИИ выглядит тотальной: доля пользователей нейросетей в компаниях достигла 80%, а суммарное время внутри ИИ-сервисов взлетело сразу в восемь раз. 

С другой стороны, исследователи обнаружили парадокс — несмотря на повсеместное внедрение, нет никаких доказательств того, что ИИ действительно освобождает рабочие часы сотрудников. Бизнес столкнулся с феноменом AI Measurement Gap (разрывом в оценке ИИ), когда менеджмент научился трекать сам факт запуска алгоритмов, но совершенно не понимает, как именно они меняют реальные процессы и окупают ли инвестиции.

Подобные истории — не единичны. 54% работников за последние 30 дней намеренно выполнили задачу вручную вместо того, чтобы использовать корпоративный ИИ, а еще 33% не прикасались к этим инструментам вовсе. При этом средний корпоративный бюджет на цифровую трансформацию достиг $54 млн — компании тратят все больше на то, чем почти никто не пользуется.

31% сотрудников сознательно подрывают пилоты ИИ-проектов. Формы сопротивления разнообразны: люди игнорируют рекомендации ИИ без объяснения причин, возвращаются к ручным процессам или используют инструменты неэффективно. Главный мотив — страх потери работы: 30% сотрудников прямо называют эту причину.

Во всем виноват ИИ

В 2022 году в к чат-боту компании Air Canada с вопросом о скидках в связи со смертью члена семьи обратился клиент. Бот услужливо ответил, что он может спокойно сейчас приобрести билет по полной стоимости, а потом вернуть разницу в течении 90 дней. 

Мужчина приобрел билет, а позже подал заявку на компенсацию. Однако авиакомпания отказала — официальная политика компании не предусматривала возврат для уже оплаченных билетов. Когда дело дошло до суда, Air Canada попыталась защищаться, утверждая, что чат-бот — это «отдельный юридический субъект», а его рекомендации не являются официальной позицией компании.

Суд с этим не согласился. Судья указал на очевидное: публичные ответы бота считаются позицией самой компании. Air Canada обязали выплатить компенсацию, а сам случай стал маяком для юридических отделов компаний — прецедентом, разграничившим ответственность за ИИ-решения.

Данный кейс показывает, что компания пыталась переложить ответственность на технологию, но суд напомнил: если бот говорит от имени бизнеса, бизнес отвечает за каждое его слово. Для чат-ботов жизненно необходимы строгая политика контента, запрет на догадки, обязательные ссылки на источники.

Заключение

Хорошая новость в том, что технологии не стоят на месте, и индустрия активно вырабатывает идеи от описанных проблем. Прямо сейчас набирают силу (или улучшаются существующие) архитектурные и организационные подходы, созданные именно для того, чтобы лечить недостатки ИИ:

• RAG — технология против галлюцинаций. Чтобы чат-бот не придумывал законы и не мешал отбеливатель с соком, используется архитектура RAG. Система сначала ищет ответ в проверенной базе знаний (документах, регламентах, законах), а потом генерирует текст строго на ее основе с обязательными ссылками на источники. 

• Локальные open-source модели для безопасности данных. Страх утечки коммерческой информации или персональных данных клиентов — один из главных стоп-факторов. Развитие открытых моделей позволяет разворачивать ИИ полностью в закрытом контуре. Такой подход дает контроль над безопасностью, помогает соблюдать строгие регуляторные требования и не зависеть от ограничений вендоров.

• LLMOps для контроля стоимости и качества. Это культура повторяющихся циклов для ИИ-продуктов: постоянный мониторинг токсичности и релевантности ответов, трекинг затрат токенов и оркестрация процессов дообучения. LLMOps превращает хаотичный эксперимент в управляемый продукт с предсказуемой ценой и метриками.

ИИ можно и нужно внедрять в бизнес, так как прогресс не остановить. Однако делать это необходимо осознанно, закладывая время на проектирование архитектуры, тщательное тестирование граничных сценариев и жесткую настройку регламентов безопасности. Если не хочется тратить месяцы на сборку инфраструктуры с нуля, для быстрого старта можно использовать готовые преднастроенные модели или поднять сервера с преднастроенным ML-окружением в AI-маркетплейсе Selectel — это закроет базовые технические боли и позволит сразу сфокусироваться на валидации и безопасности ваших сценариев.

Источник: habr.com