Безопасное и ответственное развертывание ИИ

Эксперты развенчивают главные мифы о надежности искусственного интеллекта

Делиться

Стало аксиомой: «Прежде чем использовать ИИ в производстве, его нужно заслужить доверие». Однако на практике, когда мы разрабатываем и внедряем решения на основе ИИ в промышленности, доверие часто воспринимается как модное слово. Высокая точность приветствуется, яркие демонстрации попадают в заголовки, а управление рассматривается как нечто второстепенное. Так происходит до тех пор, пока ошибки ИИ не повлекут за собой негативный пиар-отзыв или судебные иски не обойдутся компании в миллионы. Умные руководители смотрят в будущее и серьёзно относятся к безопасности ИИ и доверию к нему ещё до возникновения проблем.

На панельной дискуссии IEEE «За пределами точности: разработка надёжных ИИ в производстве» пять опытных специалистов, работающих на всех этапах жизненного цикла разработки ИИ, поделились своим опытом, полученным на практике, о том, как обеспечить надёжность ИИ, одновременно внедряя ценные решения, влияющие на бизнес-показатели. В этой статье четверо экспертов-участников развенчивают один распространённый миф о доверии к ИИ и объясняют, что нужно знать, чтобы ваши проекты в области ИИ были надёжными и безопасными.

Миф 1: «Если модель точная, ей можно доверять».

Ануша Двиведула, директор по продуктам и аналитике Morningstar и глобальный стипендиат AI 2030

«Точность — это всего лишь средний уровень. Без прочного фундамента и прозрачности доверие рушится».

Доверились бы вы, войдя в красивый лифт небоскреба, который обещает стопроцентную точность и всегда доставляет вас на самый верхний этаж, но чьи стандарты безопасности непрозрачны, а наклейка с сертификатом устарела много лет назад? Точность — это непреложный факт, но она сама по себе не гарантирует безопасности и, что ещё важнее, надёжности.

То же самое мы наблюдаем и с системами искусственного интеллекта. Алгоритмы кредитного скоринга обеспечивали высокую точность прогнозов, одновременно усиливая системную предвзятость. Рекомендательные системы оптимизировали взаимодействие, но не имели проверки устойчивости, что усиливало дезинформацию. Точность выглядела впечатляющей, но доверие рухнуло.

Именно поэтому точность — лишь один из уровней в том, что я называю «структурой доверия-сэндвича», основанной на идеях, которые я исследовал в статье IEEE о многоуровневом контроле качества. Следующие уровни обеспечивают доверие к каждому аспекту вашей модели ИИ:

• Основа: масштабируемая обработка данных . Подобно тому, как лифтам для безопасной транспортировки грузов требуются прочные тросы и блоки, системы ИИ полагаются на масштабируемые и надежные каналы передачи данных. Такие показатели, как полнота (охват ключевых атрибутов), своевременность (актуальность данных) и надежность обработки (частота отказов, пропускная способность), гарантируют, что инфраструктура сможет поддерживать доверие в любом масштабе.
• Посередине: логика ИИ + показатели производительности . Точность должна быть здесь важна, но ее следует дополнять справедливостью (например, неравномерным коэффициентом воздействия), надежностью (чувствительностью к враждебным изменениям) и устойчивостью (средним временем восстановления после сбоев конвейера).
• Вверху: объяснимость + прозрачность – именно наличие сертификата техосмотра убеждает людей ездить. Аналогичным образом, показатели интерпретируемости, такие как процент предсказаний, объясненных с помощью SHAP или LIME, делают результаты ИИ более понятными и достоверными для пользователей. Доверие ещё больше укрепляется, когда люди находятся в курсе событий: проверяют результаты модели и передают свою обратную связь на средний уровень, что со временем повышает производительность и устойчивость.

В отдельной публикации IEEE «Data Trust Score» я формализовал эту идею в виде комплексного показателя, объединяющего точность, своевременность, объективность, прозрачность и устойчивость. Модель может достигать точности 92%, но если её своевременность составляет всего 65%, а объективность — 70%, то показатель доверия раскрывает более полную картину.

Точность может оставаться стабильной при дрейфе входных распределений. Метрики дрейфа, такие как индексы стабильности популяции, дивергенция KL или сдвиги доверительных интервалов, служат ранними предупреждениями, подобно датчикам, которые обнаруживают износ лифтовых тросов до возникновения неисправности.

Ключевой вывод: Доверие — это проектный выбор, который должен быть интегрирован во все компоненты вашей системы ИИ. Измерение показателей доверия и обеспечение их прозрачности для конечных пользователей способствует более широкому внедрению систем ИИ. Упомянутые выше фреймворки и метрики предоставляют вам практические способы создания многоуровневой архитектуры доверия.

Миф 2: «Наблюдаемость — это всего лишь панель мониторинга».

Шейн Мюррей, старший вице-президент по аналитике цифровых платформ, Versant Media

Соблазнительно думать о наблюдаемости как о чём-то большем, чем просто панель мониторинга — несколько графиков, показывающих точность модели, задержку или использование. Но в производственной сфере ИИ, особенно со сложными конвейерами, построенными на проприетарных данных, LLM и системах поиска, такой подход оказывается опасно узким.

Реальные виды сбоев редко наглядно отображаются на панели мониторинга. Изменение схемы на более высоком уровне может незаметно повредить набор функций. Задержка в конвейере может привести к распространению устаревшей информации в индекс поиска, что приведет к дезинформации чат-бота. Обновления модели или подсказок часто вызывают неожиданные изменения в поведении агента, что приводит к снижению качества результатов в одночасье. Оценки могут выглядеть «здоровыми» в совокупности, но при этом вызывать галлюцинации в определенных контекстах. Тем временем, панели мониторинга продолжают отображаться зеленым цветом, пока клиенты впервые не заметят проблему.

Именно поэтому наблюдаемость должна распространяться на всю систему: данные, системы, код и модели. Сбои могут возникать на любом из этих уровней, и без интегрированной видимости вы рискуете искать симптомы вместо того, чтобы выявлять первопричину. В системах искусственного интеллекта поддержание доверия в равной степени связано с обеспечением надёжности входных данных и конвейеров, а также с мониторингом производительности моделей.

Не менее важно, что наблюдаемость — это не только то, что вы отслеживаете, но и то, как вы реагируете. Эта дисциплина во многом похожа на проектирование надежности сайта: обнаружение, сортировка, устранение и измерение. Автоматизированные мониторы и обнаружение аномалий жизненно важны для скорости, но одна лишь автоматизация вас не спасёт. Операционные практики — планы действий при инцидентах, сортировка с участием человека и дежурство — являются связующим звеном, превращающим обнаружение в решение. Измеряя каждый инцидент и извлекая из него уроки, команды повышают устойчивость системы, предотвращая повторение одних и тех же сбоев.

Ключевой вывод : Наблюдаемость в ИИ заключается не в создании визуально привлекательных диаграмм, а в развитии организационной силы для непрерывного обнаружения, диагностики и устранения сбоев во всем стеке данных и ИИ. Именно сочетание автоматизации и чёткой организации работы обеспечивает качество, надёжность и, в конечном счёте, доверие.

Миф 3: «Управление замедляет инновации»

Автор: Врушали Чаннапаттан, директор по проектированию, данным и искусственному интеллекту

Эффективное управление, которое часто ошибочно воспринимается как тормоз прогресса, на самом деле является трамплином к более быстрым инновациям, гарантируя при этом доверие как решающий фактор для ответственного внедрения ИИ.

Безопасное пространство для экспериментов: Эксперименты — это движущая сила инноваций. Эффективные стратегии управления способствуют созданию безопасной среды для исследования возможностей ИИ. Например, создание структурированных зон экспериментов, таких как внутренние хакатоны с выделенными ИИ-песочницами, укрепляет доверие, поскольку необходимый контроль можно обеспечить в контролируемых условиях.

Создание доверия через проложенные пути : один из наиболее эффективных способов стимулирования ответственных инноваций — это внедрение заранее утверждённых и стандартизированных рабочих процессов, инструментов и библиотек. Эти «проложенные пути» проверяются командами управления и предусматривают встроенные меры обеспечения конфиденциальности, безопасности и соответствия требованиям. Такой подход позволяет командам сосредоточиться на развитии инновационных возможностей, а не на решении проблем, связанных с неопределённостью и противоречиями в вопросах безопасности и соответствия требованиям.

Поощрение прозрачности и согласованности: Прозрачность критически важна для построения доверия, а эффективная коммуникация — основа его достижения. Объединение заинтересованных сторон из юридических отделов, отделов безопасности, конфиденциальности, прав человека, устойчивого развития, продуктов и инженерии на ранних этапах и регулярное согласование внутренних рекомендаций по ответственному внедрению ИИ способствует пониманию не только «что», но и «почему» стоит за этим ограничением. Риски, связанные с ИИ, требуют такого же серьёзного подхода, как и вопросы конфиденциальности данных или безопасности облачных сред. Генеративные технологии ИИ, в частности, открывают новые возможности для атак и каналы для злоупотреблений, поэтому активное восприятие рисков и их снижение крайне важны, как обсуждается в статье IEEE «ИИ, киберпреступность и общество: устранение разрыва между угрозами и защитой».

Ключевой вывод: Проложенные пути и последовательная коммуникация превращают восприятие управления из препятствия в взлетно-посадочную полосу. Они предоставляют командам проверенные строительные блоки, позволяя им быстрее и итеративно развивать систему, не нарушая при этом принципов управления. Такой подход способствует инновациям, одновременно снижая риски и разногласия, позволяя безопасно переключить внимание с вопроса «можно ли нам?» на вопрос «нужно ли нам?».

Миф 4: «Ответственный ИИ — это только соблюдение правил».

Стефани Кирмер, инженер по машинному обучению компании DataGrail

Разработка ИИ для производства — сложная и увлекательная задача, поскольку мы работаем над решением бизнес-задач, используя сложные стратегии машинного обучения. Однако превращение работающего решения в ответственное и этичное требует больших усилий.

Способность технологии выполнить задачу, стоящую перед нами, — не единственный фактор, который нужно учитывать — это касается и искусственного интеллекта, и всего остального. Мы несём ответственность за внешние эффекты своей деятельности. Это может включать в себя масштабные социальные последствия на макроуровне, а также последствия на уровне организации или отдельного человека. Внедрение модели, использующей данные клиентов без их согласия или потенциально способной непреднамеренно раскрыть персональные данные (PII), создаёт риск, который может привести и приводит к причинению вреда физическим лицам, возникновению юридической и финансовой ответственности, а также потенциальному разрушению репутации бренда.

Мы можем получить полезные рекомендации из нормативно-правовых актов, таких как GDPR, CCPA и Закон ЕС об искусственном интеллекте (EU AI Act), но мы не можем полагаться на то, что законодатели будут думать за нас. Правовые акты не могут предусмотреть все возможные сценарии возникновения проблем и часто требуют интерпретации и применения к техническим реалиям. Например, модели не должны использовать защищённые характеристики для принятия решений о возможностях людей или доступе к ресурсам. Если вам поручено построить модель, которая оценивает данные о потребителях, вам нужно понять, как (и можно ли!) построить эту модель так, чтобы защищённые характеристики не влияли на решения. Возможно, вам нужно контролировать входные данные или применять строгие ограничения к выходным данным. Вам также, вероятно, необходимо проинформировать конечных пользователей об этом принципе и научить их выявлять дискриминационные выходные данные в случае обнаружения в них ошибок.

Но это ответственность не только инженера. Все участники жизненного цикла разработки ИИ, такие как специалисты по продукту, информационной безопасности и юридические специалисты, должны быть хорошо осведомлены о реальных возможностях ИИ-продукта и понимать, что ошибки или нежелательные эффекты всегда представляют собой риск. Зачастую модели, которые выполняют именно то, для чего были разработаны, могут иметь неожиданные негативные побочные эффекты, поскольку они не были учтены при обучении. Именно поэтому так важно привлекать к планированию и архитектурному проектированию сотрудников вашей организации, обладающих разными точками зрения и опытом. Различные точки зрения позволяют выявить «слепые зоны» и предотвратить непредвиденные риски, особенно для малопредставленных групп или маргинализированных сообществ, до внедрения в производство.

Ключевые выводы: Этическая разработка ИИ — это ответственность всех участников процесса создания ИИ-решений. Модели не обязательно должны иметь нежелательные побочные эффекты, поэтому при разработке следует учитывать различные точки зрения.

Заключительные мысли

Надёжный ИИ — это не отдельная функция, которую можно добавить в конце; это многоуровневая практика. От создания надёжных каналов передачи данных до демократизации наблюдения, внедрения управления и проектирования с учётом ответственности — каждый этап жизненного цикла определяет, насколько пользователи и заинтересованные стороны могут полагаться на вашу систему.

Все эксперты, представленные в этой статье, сходятся в одном: доверие не возникает автоматически. Оно формируется с помощью метрик, фреймворков и организационных практик, которые делают ИИ более безопасным и устойчивым.

По мере того, как генеративные и агентные системы искусственного интеллекта будут внедряться в критически важные рабочие процессы, разница между шумихой и устойчивым принятием будет сводиться к одному вопросу: могут ли люди доверять системе настолько, чтобы полагаться на нее?

Ответ зависит не от повышения точности моделей до 99%, а от создания культуры, процессов и барьеров, которые с самого начала гарантируют прозрачность, устойчивость и ответственность систем ИИ.

Дополнительное чтение

• Наша статья из IEEE: https://ieeexplore.ieee.org/abstract/document/11127251
• ИИ, киберпреступность и общество: устранение разрыва между угрозами и защитой
• Статья IEEE: Оценка доверия к данным
• Статья IEEE: Многоуровневый контроль качества

Об авторах

Врушали Чаннапаттан — директор по инжинирингу в Okta, где она руководит инициативами в области данных и искусственного интеллекта, уделяя особое внимание ответственному ИИ. Обладая более чем 20-летним опытом, она разрабатывала крупномасштабные системы данных и вносила вклад в развитие открытого исходного кода в качестве коммиттера Apache Hadoop. До Okta она почти десять лет проработала в Twitter, помогая компании вырасти из стартапа в публичную компанию. Врушали получила степень магистра компьютерных систем в Северо-Восточном университете и выступала с докладами на международных конференциях. Она является патентообладателем в области искусственного интеллекта, идентификации и распределенных систем, а также автором публикаций в журналах IEEE и отраслевых блогах.

Ануша Двиведула — директор по продуктам аналитической группы компании Morningstar. Она руководила разработкой и внедрением централизованной платформы данных Morningstar, которая объединила конвейеры, аналитику и возможности наблюдения в масштабах всего предприятия для поддержки готовности к масштабированию ИИ. Её работа объединяет облачную инфраструктуру, управление данными и разработку продуктов на основе ИИ в высокорискованных, регулируемых средах. Ануша обладает обширным опытом руководства глобальными командами и сложными инициативами по модернизации, уделяя особое внимание созданию надёжных, объяснимых и масштабируемых систем данных. Она часто выступает с докладами по таким темам, как ответственный ИИ, качество данных и возможность наблюдения, и принимала участие более чем в 15 влиятельных конференциях. Она также является глобальным стипендиатом программы AI 2030, участвуя в высокоэффективных инициативах, содействуя созданию глобальных фреймворков ИИ и продвигая внедрение этичного ИИ в промышленность и политику. Узнайте больше на сайте https://anushadwivedula.com/.

Стефани Кирмер — штатный инженер по машинному обучению
в DataGrail, компании, которая стремится помогать предприятиям
защитить конфиденциальность данных клиентов и минимизировать риски. Она
имеет почти десятилетний опыт создания машинного обучения
решения в промышленности, и прежде чем заняться наукой о данных, она
был адъюнкт-профессором социологии и высшего образования
Администратор Университета Де Поля. Она привносит уникальный опыт
с точки зрения социальных наук и глубоких технических и деловых
опыт писать и говорить доступно о сегодняшнем
проблемы, связанные с искусственным интеллектом и машинным обучением, и является постоянным
Участник проекта Towards Data Science. Подробнее на сайте www.stephaniekirmer.com.

Шейн Мюррей — старший вице-президент по аналитике цифровых платформ в компании Versant, где он руководит аналитикой и исследованиями в области цифровых платформ. Ранее он занимал должность технического директора в Монте-Карло, консультируя руководителей отделов данных и инженерных разработок по созданию надежных и заслуживающих доверия систем обработки данных и искусственного интеллекта, а также должность старшего вице-президента по данным и аналитике в The New York Times, где руководил кросс-функциональными командами, занимающимися наукой о данных, аналитикой и разработкой платформ. На протяжении двух десятилетий Шейн работает на стыке данных, технологий и цифровых продуктов, применяя глубокие знания в области экспериментов, наблюдения и машинного обучения. Будучи одним из основателей InvestInData, он также поддерживает стартапы на ранних стадиях, формирующие будущее инфраструктуры данных и искусственного интеллекта.

Источник: towardsdatascience.com