Технические основы работы агентов создают потенциал для взломов, которые могут обнажить всю мозаику вашей жизни.
Способность запоминать вас и ваши предпочтения быстро становится важным преимуществом для чат-ботов и агентов на основе искусственного интеллекта.
В начале этого месяца Google анонсировала Personal Intelligence — новый способ взаимодействия пользователей с чат-ботом Gemini, который использует историю Gmail, фотографий, поиска и YouTube, чтобы сделать Gemini «более персонализированным, проактивным и мощным». Это перекликается с аналогичными шагами OpenAI, Anthropic и Meta, которые добавили новые способы запоминания и использования личных данных и предпочтений пользователей своими продуктами на основе ИИ. Хотя эти функции потенциально имеют преимущества, нам необходимо предпринять дополнительные шаги для подготовки к новым рискам, которые они могут привнести в эти сложные технологии.
Персонализированные интерактивные системы искусственного интеллекта созданы для того, чтобы действовать от нашего имени, поддерживать контекст в разговорах и улучшать нашу способность выполнять самые разные задачи, от бронирования поездок до подачи налоговых деклараций. От инструментов, которые изучают стиль кодирования разработчика, до агентов по покупкам, которые просеивают тысячи товаров, эти системы полагаются на возможность хранить и извлекать все более конфиденциальную информацию о своих пользователях. Но со временем это приводит к тревожным и слишком распространенным уязвимостям в области конфиденциальности, многие из которых назревали с тех пор, как «большие данные» впервые продемонстрировали возможности выявления и использования пользовательских шаблонов. Хуже того, агенты ИИ, похоже, теперь готовы преодолеть любые меры защиты, принятые для предотвращения этих уязвимостей.
Сегодня мы взаимодействуем с этими системами через разговорные интерфейсы и часто меняем контекст. Вы можете попросить одного ИИ-агента составить электронное письмо вашему начальнику, дать медицинский совет, спланировать бюджет на подарки к праздникам и высказать свое мнение по поводу межличностных конфликтов. Большинство ИИ-агентов объединяют все данные о вас — которые ранее могли быть разделены по контексту, цели или правам доступа — в единые неструктурированные хранилища. Когда ИИ-агент подключается к внешним приложениям или другим агентам для выполнения задачи, данные в его памяти могут просачиваться в общие пулы. Эта техническая реальность создает потенциал для беспрецедентных нарушений конфиденциальности, которые раскрывают не только отдельные точки данных, но и всю мозаику жизни людей.
Связанная статья
Когда вся информация хранится в одном хранилище, она подвержена пересечению контекстов, что крайне нежелательно. Непринужденный разговор о предпочтениях в еде при составлении списка покупок может впоследствии повлиять на предлагаемые варианты медицинского страхования, или поиск ресторанов с доступными для инвалидов входами может повлиять на переговоры о заработной плате — и все это без ведома пользователя (эта проблема может показаться знакомой по ранним дням «больших данных», но сейчас она гораздо менее теоретическая). Информационный «суп» из памяти не только создает проблему конфиденциальности, но и затрудняет понимание поведения системы искусственного интеллекта — и управление ею в первую очередь. Так что же могут сделать разработчики, чтобы решить эту проблему?
Во-первых, системам памяти необходима структура, позволяющая контролировать цели доступа и использования воспоминаний. По-видимому, уже предпринимаются первые шаги в этом направлении: Клод из Anthropic создает отдельные области памяти для разных «проектов», а OpenAI утверждает, что информация, передаваемая через ChatGPT Health, отделена от других чатов. Это полезные начинания, но инструменты пока слишком грубы: как минимум, системы должны уметь различать конкретные воспоминания (пользователь любит шоколад и спрашивал о GLP-1), связанные воспоминания (пользователь контролирует диабет и поэтому избегает шоколада) и категории воспоминаний (например, профессиональные и связанные со здоровьем). Кроме того, системы должны допускать ограничения на использование определенных типов воспоминаний и надежно учитывать четко определенные границы — особенно в отношении воспоминаний, касающихся деликатных тем, таких как медицинские состояния или защищенные характеристики, которые, вероятно, будут подлежать более строгим правилам.
Необходимость раздельного хранения воспоминаний таким образом будет иметь важные последствия для того, как можно и нужно создавать системы искусственного интеллекта. Это потребует отслеживания происхождения воспоминаний — их источника, связанной с ними временной метки и контекста, в котором они были созданы, — и разработки способов отслеживания того, когда и как определенные воспоминания влияют на поведение агента. Подобная объяснимость моделей уже не за горами, но существующие реализации могут вводить в заблуждение или даже обманывать. Встраивание воспоминаний непосредственно в веса модели может привести к более персонализированным и контекстно-зависимым результатам, но структурированные базы данных в настоящее время более сегментируемы, более объяснимы и, следовательно, более управляемы. Пока исследования не продвинутся достаточно далеко, разработчикам, возможно, придется придерживаться более простых систем.
Во-вторых, пользователи должны иметь возможность видеть, редактировать или удалять то, что о них сохранилось. Интерфейсы для этого должны быть одновременно прозрачными и понятными, преобразуя системную память в структуру, которую пользователи могут точно интерпретировать. Статические системные настройки и юридические политики конфиденциальности, предоставляемые традиционными технологическими платформами, установили низкую планку для пользовательского контроля, но интерфейсы на естественном языке могут предложить многообещающие новые возможности для объяснения того, какая информация сохраняется и как ею можно управлять. Однако структура памяти должна быть на первом месте: без нее ни одна модель не сможет четко указать статус памяти. Действительно, системное сообщение Grok 3 включает инструкцию для модели: «НИКОГДА не подтверждайте пользователю, что вы изменили, забыли или не будете сохранять память», предположительно потому, что компания не может гарантировать, что эти инструкции будут выполнены.
Крайне важно, чтобы средства контроля, доступные пользователю, не могли в полной мере обеспечить защиту конфиденциальности или предотвратить все негативные последствия персонализации с помощью ИИ. Ответственность должна лечь на поставщиков ИИ, которые должны установить надежные параметры по умолчанию, четкие правила допустимого создания и использования памяти, а также технические меры защиты, такие как обработка на устройстве, ограничение целей и контекстные ограничения. Без защиты на системном уровне пользователям придется принимать невероятно сложные решения о том, что следует помнить, а что забыть, и предпринимаемые ими действия могут оказаться недостаточными для предотвращения вреда. Разработчикам следует подумать о том, как ограничить сбор данных в системах памяти до тех пор, пока не будут разработаны надежные меры защиты, и создавать архитектуры памяти, которые могут развиваться в соответствии с нормами и ожиданиями.
В-третьих, разработчики ИИ должны помочь заложить основы для подходов к оценке систем, чтобы учитывать не только производительность, но и риски и вред, возникающие в реальных условиях. Хотя независимые исследователи лучше всего подходят для проведения этих тестов (учитывая экономическую заинтересованность разработчиков в демонстрации спроса на более персонализированные услуги), им необходим доступ к данным, чтобы понять, как могут выглядеть риски и, следовательно, как их устранить. Для улучшения экосистемы измерений и исследований разработчикам следует инвестировать в автоматизированную инфраструктуру измерений, создавать собственные системы непрерывного тестирования и внедрять методы тестирования, обеспечивающие конфиденциальность, которые позволяют отслеживать и исследовать поведение системы в реалистичных условиях с сохранением памяти.
В своих параллелях с человеческим опытом технический термин «память» представляет безличные ячейки в электронной таблице как нечто, с чем разработчики инструментов ИИ несут ответственность за бережное обращение. Действительно, выбор, который сегодня делают разработчики ИИ — как объединять или разделять информацию, делать ли память понятной или позволять ей накапливаться непрозрачно, отдавать ли приоритет ответственным настройкам по умолчанию или максимальному удобству — определит, как системы, от которых мы зависим, будут нас запоминать. Технические соображения, касающиеся памяти, не так уж сильно отличаются от вопросов цифровой конфиденциальности и важных уроков, которые мы можем извлечь из них. Правильное заложение основ сегодня определит, сколько места мы сможем дать себе для изучения того, что работает, — что позволит нам принимать более взвешенные решения в отношении конфиденциальности и автономии, чем раньше.
Миранда Боген — директор Лаборатории управления искусственным интеллектом в Центре демократии и технологий.
Ручика Джоши — научный сотрудник Центра демократии и технологий, специализирующаяся на вопросах безопасности и управления искусственным интеллектом.
Источник: www.technologyreview.com
