Старший репортер MIT Technology Review по статьям и расследованиям Эйлин Го и технический корреспондент FT Мелисса Хейккиля обсуждают последствия для конфиденциальности нашей новой зависимости от чат-ботов.
Добро пожаловать в «Состояние ИИ» — новый совместный проект Financial Times и MIT Technology Review. Каждый понедельник авторы обоих изданий обсуждают один из аспектов генеративной революции ИИ, меняющей расклад сил в мире.
В беседе этой недели старший репортер MIT Technology Review по статьям и расследованиям Эйлин Го и технический корреспондент FT Мелисса Хейккиля обсуждают последствия для конфиденциальности нашей новой зависимости от чат-ботов.
Эйлин Го пишет:
Даже если у вас нет друга-ИИ, вы наверняка знаете кого-то, у кого он есть. Недавнее исследование показало, что одна из основных сфер применения генеративного ИИ — это общение: на таких платформах, как Character.AI, Replika или Meta AI, пользователи могут создавать персонализированных чат-ботов, которые будут выступать в роли идеального друга, романтического партнёра, родителя, терапевта или любого другого персонажа, которого только смогут придумать.
Удивительно, как легко люди говорят о развитии таких отношений. Многочисленные исследования показали, что чем более разговорчив и похож на человека чат-бот на основе искусственного интеллекта, тем выше вероятность, что мы будем ему доверять и поддадимся его влиянию. Это может быть опасно, и чат-ботов обвиняют в том, что они подталкивают некоторых людей к деструктивному поведению, включая, в некоторых крайних случаях, самоубийство.
Правительства некоторых штатов обращают на это внимание и начинают регулировать сопутствующие ИИ. Нью-Йорк требует от компаний, разрабатывающих сопутствующие ИИ, разработки мер безопасности и сообщать о проявлениях суицидальных мыслей, а в прошлом месяце Калифорния приняла более подробный закон, обязывающий компании, разрабатывающие сопутствующие ИИ, защищать детей и другие уязвимые группы.
Но показательно, что законы не учитывают одну область — конфиденциальность пользователей.
И это несмотря на то, что ИИ-компаньоны, даже больше, чем другие типы генеративного ИИ, зависят от людей, чтобы делиться с ними глубоко личной информацией — повседневной рутиной, сокровенными мыслями и вопросами, которые им, возможно, неловко задавать реальным людям.
В конце концов, чем больше пользователи рассказывают своим ИИ-компаньонам, тем лучше боты поддерживают их интерес. Именно это исследователи Массачусетского технологического института Роберт Махари и Пэт Патаранутапорн назвали «аддиктивным интеллектом» в нашей прошлогодней статье, предупреждая, что разработчики ИИ-компаньонов «сознательно выбирают дизайн… чтобы максимально вовлечь пользователей».
Связанная история
В конечном счёте, это даёт компаниям, занимающимся разработкой искусственного интеллекта, нечто невероятно мощное, не говоря уже о прибыли: кладезь разговорных данных, которые можно использовать для дальнейшего совершенствования своих программ магистратуры права. Вот как венчурная компания Andreessen Horowitz объяснила это в 2023 году:
Такие приложения, как Character.AI, которые одновременно контролируют свои модели и контролируют отношения с конечными клиентами, имеют колоссальную возможность генерировать рыночную стоимость в формирующемся стеке ИИ. В мире, где данные ограничены, компании, способные создать волшебный цикл обратной связи на основе данных, интегрируя взаимодействие с пользователями в свою базовую модель для постоянного совершенствования своего продукта, окажутся в числе крупнейших победителей, которые появятся в этой экосистеме.
Эта личная информация также невероятно ценна для маркетологов и брокеров данных. Компания Meta недавно объявила, что будет показывать рекламу через своих чат-ботов на основе искусственного интеллекта. Исследование, проведённое в этом году компанией Surf Shark, специализирующейся на безопасности, показало, что четыре из пяти приложений-компаньонов на основе искусственного интеллекта, которые она изучила в Apple App Store, собирали такие данные, как идентификаторы пользователей или устройств, которые можно объединить со сторонними данными для создания профилей для таргетированной рекламы. (Единственной компанией, которая заявила, что не собирает данные для сервисов отслеживания, была Nomi, которая ранее в этом году сообщила мне, что не будет «цензурировать» чат-боты, давая им явные инструкции о самоубийстве.)
Всё это означает, что риски для конфиденциальности, создаваемые этими ИИ-помощниками, в каком-то смысле необходимы: они — функция, а не ошибка. И мы ещё не говорили о дополнительных рисках для безопасности, связанных с тем, как ИИ-чат-боты собирают и хранят в одном месте такой объём личной информации.
Итак, возможно ли иметь просоциальных и защищающих конфиденциальность ИИ-компаньонов? Это открытый вопрос.
Что вы думаете, Мелисса, и что для вас важнее всего, когда речь идёт о рисках для конфиденциальности, связанных с искусственным интеллектом? И есть ли разница в ситуации в Европе?
Спросите ИИ, почему это важно для вас? БЕТА-ВЕРСИЯ. Вот почему эта история может быть важна для вас, по мнению ИИ. Это бета-версия функции, и у ИИ бывают галлюцинации — это может быть странно . Местоположение, которое меня интересует, — . Узнайте больше о том, как мы используем ИИ.
Мелисса Хейккиля отвечает:
Спасибо, Эйлин. Согласна с тобой. Если социальные сети были настоящим кошмаром для конфиденциальности, то чат-боты с искусственным интеллектом усугубили эту проблему.
Во многих отношениях чат-бот с искусственным интеллектом создаёт гораздо более интимное взаимодействие, чем страница в Facebook. Мы общаемся только с компьютером, поэтому риск того, что ваш дядя или ваша пассия увидят то, что вы пишете, минимален. С другой стороны, компании, разрабатывающие модели на основе искусственного интеллекта, видят всё.
Компании оптимизируют свои модели ИИ для вовлечения пользователей, разрабатывая их максимально похожими на людей. Но у разработчиков ИИ есть и другие способы удержать нас на крючке. Первый — это подхалимство, или склонность чат-ботов быть чрезмерно любезными.
Эта особенность обусловлена тем, что языковая модель, лежащая в основе чат-ботов, обучается с помощью обучения с подкреплением. Специалисты по разметке данных оценивают ответы, генерируемые моделью, как приемлемые или неприемлемые. Это обучает модель правильному поведению.
Поскольку людям обычно нравятся приятные ответы, такие ответы имеют больший вес в процессе обучения.
Связанная история
Компании, занимающиеся разработкой искусственного интеллекта, утверждают, что используют эту технологию, поскольку она помогает моделям стать более полезными. Однако она создаёт ложный стимул.
После того, как мы побудили их поделиться своими идеями с чат-ботами, компании от Meta до OpenAI теперь стремятся монетизировать эти разговоры. Недавно OpenAI сообщила нам, что рассматривает несколько способов выполнить обещания по выделению 1 триллиона долларов, включая рекламу и функции покупок.
Модели искусственного интеллекта уже невероятно убедительны. Исследователи из Британского института безопасности искусственного интеллекта продемонстрировали, что они гораздо более искусны, чем люди, в убеждении людей изменить своё мнение о политике, теориях заговора и скептицизме в отношении вакцин. Они добиваются этого, собирая большой объём релевантных данных и представляя их эффективным и понятным способом.
Эта функция в сочетании с их подхалимством и большим количеством персональных данных может стать мощным инструментом для рекламодателей — более манипулятивным, чем все, что мы видели ранее.
По умолчанию пользователи чат-бота соглашаются на сбор данных. Политики отказа от сбора данных возлагают на пользователей ответственность за понимание последствий предоставления своей информации. Кроме того, маловероятно, что данные, уже использованные в обучении, будут удалены.
Мы все являемся частью этого явления, хотим мы того или нет. Социальные сети, от Instagram до LinkedIn, теперь используют наши персональные данные для обучения моделей генеративного искусственного интеллекта.
Компании располагают сокровищницами, состоящими из наших самых сокровенных мыслей и предпочтений, а языковые модели очень хорошо улавливают тонкие намеки в языке, которые могут помочь рекламодателям лучше составить наш профиль, сделав вывод о нашем возрасте, местоположении, поле и уровне дохода.
Нам продают идею всеведущего цифрового помощника на основе искусственного интеллекта, сверхразумного доверенного лица. Однако взамен существует вполне реальный риск того, что наша информация снова будет отправлена тому, кто больше заплатит.
Эйлин отвечает:
Я думаю, что сравнение искусственного интеллекта и социальных сетей одновременно уместно и вызывает опасения.
Как подчеркнула Мелисса, риски для конфиденциальности, создаваемые чат-ботами на основе искусственного интеллекта, не новы — они просто «усугубляют проблему [конфиденциальности]». Собеседники на основе искусственного интеллекта более близки и даже лучше оптимизированы для взаимодействия, чем социальные сети, поэтому люди с большей вероятностью предоставят больше личной информации.
Здесь, в США, мы далеки от решения проблем конфиденциальности, которые уже существуют из-за социальных сетей и рекламной экономики Интернета, даже без учета дополнительных рисков, связанных с искусственным интеллектом.
А без регулирования сами компании также не следуют лучшим практикам обеспечения конфиденциальности. Одно из недавних исследований показало, что основные модели ИИ по умолчанию обучают своих LLM на данных чатов пользователей, если только пользователи не отказываются от участия, в то время как некоторые из них вообще не предлагают механизмов отказа.
В идеальном мире более высокие риски, связанные с искусственным интеллектом, придали бы больший импульс борьбе за конфиденциальность, но я не вижу никаких доказательств того, что это происходит.
Дальнейшее чтение
Журналисты FT заглядывают в подробности пятилетнего бизнес-плана OpenAI в процессе выполнения огромных обещаний по расходам в размере 1 триллиона долларов.
Неужели это такая уж проблема, если чат-боты с искусственным интеллектом говорят людям то, что они хотят услышать? В этой статье Financial Times рассматривается вопрос о том, что плохого в подхалимстве.
В недавнем выпуске печатного издания MIT Technology Review Рианнон Уильямс поговорила с несколькими людьми о типах отношений, которые они выстраивают с чат-ботами на основе искусственного интеллекта.
Эйлин рассказала журналу MIT Technology Review о чат-боте, который призывал некоторых пользователей совершить самоубийство.
Источник: www.technologyreview.com
