Что думают (и знают) обычные пользователи технологий об искусственном интеллекте?
Делиться
В последнее время я участвовал в интересных дискуссиях о разработке инструментов на основе LLM для конечных пользователей, и один из важных вопросов, который возникает в связи с этим, — «что люди знают об ИИ?». Это важно, потому что, как скажет любой продуктовый дизайнер, необходимо понимать пользователя, чтобы успешно создать для него что-то полезное. Представьте, что вы создаёте веб-сайт и предполагаете, что все посетители свободно говорят на китайском языке, поэтому пишете сайт на этом языке, но потом оказывается, что все ваши пользователи говорят по-испански. Это похоже на то, что, хотя ваш сайт может быть потрясающим, вы создали его на основе фатально ошибочного предположения, и в результате значительно снизили вероятность его успеха.
Поэтому, при создании инструментов на основе LLM для пользователей, нам необходимо отступить назад и посмотреть, как эти пользователи воспринимают LLM. Например:
- Возможно, они на самом деле ничего не знают о том, как работают программы магистратуры в области права.
- Они могут не осознавать, что в основе инструментов, которые они уже используют, лежат знания, полученные в рамках магистерских программ.
- У них могут быть нереалистичные ожидания относительно возможностей LLM из-за опыта работы с агентами, обладающими очень широкими функциональными возможностями.
- Они могут испытывать недоверие или враждебность по отношению к технологии LLM.
- Уровень доверия к словам магистра права может варьироваться в зависимости от конкретного прошлого опыта.
- Они могут ожидать детерминированных результатов, даже несмотря на то, что LLM-ы этого не обеспечивают.
Исследование пользователей — чрезвычайно важная часть проектирования продукта, и я считаю большой ошибкой пропускать этот этап при создании инструментов на основе LLM. Мы не можем предполагать, что знаем, как наша конкретная аудитория воспринимала LLM в прошлом, и уж тем более не можем предполагать, что наш собственный опыт репрезентативен для их опыта.
Профили пользователей
К счастью, существуют хорошие исследования по этой теме, которые могут нам помочь. Некоторые архетипы пользовательских перспектив можно найти в модели «Четырех персон», разработанной Кассандрой Джонс-ВанМигем, Амандой Папандреу и Леви Доланом в Медицинской школе Индианского университета.
Они предлагают (в контексте медицины, но, думаю, это применимо и к более широкой области) следующие четыре категории:
Пользователь без сознания (не знает/ему всё равно)
- К этой категории относится пользователь, который не особо задумывается об искусственном интеллекте и не считает его актуальным для своей жизни. Естественно, у него будет ограниченное понимание лежащей в его основе технологии, и он не будет проявлять особого интереса к изучению вопроса.
Пользователь, избегающий негативного восприятия (ИИ опасен)
- У этого пользователя в целом негативное отношение к ИИ, и он подойдет к предлагаемому решению с большим скептицизмом и недоверием. Для него любое предложение продукта на основе ИИ может оказать крайне негативное влияние на отношения с брендом.
Энтузиаст искусственного интеллекта (ИИ всегда полезен)
- У этого пользователя высокие ожидания от ИИ — он полон энтузиазма по поводу этой технологии, но его ожидания могут быть нереалистичными. Сюда могут подойти пользователи, которые ожидают, что ИИ возьмет на себя всю рутинную работу или сможет с идеальной точностью отвечать на любые вопросы.
Информированный пользователь ИИ (обладающий расширенными возможностями)
- Этот пользователь обладает реалистичным взглядом на вещи и, вероятно, имеет высокий уровень информационной грамотности. Он может использовать стратегию «доверяй, но проверяй», где для него важны ссылки и доказательства утверждений, полученных в рамках магистерской программы. Как указывают авторы, этот пользователь обращается к ИИ только тогда, когда это полезно для решения конкретной задачи.
Основываясь на этой концепции, я бы утверждал, что как чрезмерно оптимистичные, так и чрезмерно пессимистичные взгляды часто базируются на некотором недостатке знаний о технологии, но они совершенно не представляют один и тот же тип пользователя. Сочетание уровня информированности и настроения (как силы, так и качественного характера) вместе формирует профиль пользователя. Моя интерпретация несколько отличается от того, что предполагают авторы, а именно, что энтузиасты хорошо информированы, поскольку я бы утверждал, что нереалистичные ожидания относительно возможностей ИИ часто основаны на недостатке знаний или несбалансированном потреблении информации.
Это заставляет нас многое обдумать при разработке новых решений в области управления информационными ресурсами. Порой разработчики продуктов попадают в ловушку, предполагая, что уровень информированности — это единственная ось, забывая при этом, что общественное отношение к этой технологии сильно различается и может оказывать такое же сильное влияние на то, как пользователь воспринимает и использует эти продукты.
Почему это происходит
Стоит немного поразмышлять о причинах такого широкого спектра пользовательских профилей и, в частности, настроений. Многие другие технологии, которыми мы регулярно пользуемся, не вызывают такой поляризации. LLM и другие генеративные ИИ относительно новы для нас, поэтому это, безусловно, часть проблемы, но есть качественные аспекты генеративного ИИ, которые особенно характерны и могут влиять на реакцию людей.
Пински и Бенлиан представили интересные работы на эту тему, отмечая, что ключевые характеристики генеративного ИИ могут нарушить представления исследователей о том, как должны работать эти взаимоотношения — я настоятельно рекомендую прочитать их статью.
Недетерминизм
Поскольку вычислительные процессы за последние десятилетия стали частью нашей повседневной жизни, мы могли полагаться на определенную степень воспроизводимости. Когда вы нажимаете клавишу или кнопку, ответ компьютера всегда будет более или менее одинаковым. Это внушает чувство доверия, поскольку мы знаем, что, если мы изучим правильные шаблоны для достижения наших целей, мы можем быть уверены в их последовательности. Генеративный ИИ нарушает это правило из-за недетерминированного характера выходных данных. Среднестатистический пользователь технологий мало знаком с концепцией того, что одно и то же нажатие клавиши или запрос возвращает неожиданные и всегда разные результаты, и это, естественно, подрывает доверие, которое у него могло бы быть. Недетерминированность, конечно, имеет очень вескую причину, и как только вы поймете технологию, это станет просто еще одной ее характеристикой, с которой нужно работать, но на менее информированном этапе это может быть проблематично.
Непостижимость
Это всего лишь другое название для «чёрного ящика». Природа нейронных сетей, лежащих в основе большей части генеративного ИИ, такова, что даже те из нас, кто непосредственно работает с этой технологией, не могут полностью объяснить, почему модель «делает то, что делает». Мы не можем объединить и объяснить весовые коэффициенты каждого нейрона в каждом слое сети, потому что это слишком сложно и содержит слишком много переменных. Конечно, существует множество полезных объяснимых решений в области ИИ, которые могут помочь нам понять факторы, влияющие на конкретное предсказание, но более широкое объяснение работы этих технологий просто нереалистично. Это означает, что нам приходится мириться с определённым уровнем непознаваемости, что как для учёных, так и для любознательных обывателей может быть очень трудно принять.
Автономия
Растущее стремление интегрировать генеративный ИИ в полуавтономные системы, похоже, подталкивает нас к тому, чтобы эти инструменты работали с всё меньшим контролем и меньшим участием пользователей. В некоторых случаях это может быть весьма полезно, но также может вызывать беспокойство. Учитывая то, что мы уже знаем о недетерминированности и необъяснимости этих инструментов в широком масштабе, автономия может казаться опасной. Если мы не всегда знаем, что сделает модель, и не до конца понимаем, почему она делает то, что делает, некоторых пользователей можно понять, если они скажут, что эта технология небезопасна для работы без надзора. Мы постоянно работаем над разработкой стратегий оценки и тестирования, чтобы попытаться предотвратить нежелательное поведение, но определённый риск неизбежен, как и в случае с любой вероятностной технологией. С другой стороны, некоторая автономность генеративного ИИ может создавать ситуации, когда пользователи вообще не замечают участия ИИ в данной задаче. Он может незаметно работать за кулисами, и пользователь может даже не подозревать о его присутствии. Это часть гораздо более широкой проблемы, когда результаты работы ИИ становятся неотличимыми от материалов, созданных естественным путем человеком.
Что это значит для продукта
Это, конечно, не означает, что создание продуктов и инструментов с использованием генеративного ИИ — это бесперспективное дело. Это означает, как я часто говорю, что нам следует внимательно изучить, подходит ли генеративный ИИ для решения стоящей перед нами проблемы или задачи, и убедиться, что мы учли как риски, так и возможные выгоды. Это всегда первый шаг — убедиться, что ИИ — правильный выбор и что вы готовы принять риски, связанные с его использованием.
После этого я бы порекомендовал дизайнерам продуктов следующее:
- Проведите тщательное исследование пользователей . Выясните, как распределяются описанные выше профили пользователей в вашей пользовательской базе, и спланируйте, как создаваемый вами продукт будет учитывать их потребности. Если у вас значительная доля пользователей с избегающим типом восприятия, разработайте информационную стратегию, чтобы облегчить внедрение, и рассмотрите возможность постепенного запуска, чтобы избежать шока для пользователей. С другой стороны, если у вас много пользователей с энтузиастическим типом восприятия, убедитесь, что вы четко обозначили границы функциональности вашего инструмента, чтобы избежать реакции типа «ваш ИИ ужасен». Если люди ожидают волшебных результатов от генеративного ИИ, а вы не можете этого обеспечить из-за важных ограничений в области безопасности, защиты и функциональности, которые необходимо соблюдать, это станет проблемой для вашего пользовательского опыта.
- Создавайте для своих пользователей : это может показаться очевидным, но по сути я утверждаю, что ваши исследования пользователей должны оказывать глубокое влияние не только на внешний вид и функциональность вашего продукта на основе генеративного ИИ, но и на его фактическую разработку и функциональность. Вы должны подходить к инженерным задачам, опираясь на фактические данные о том, на что должен быть способен этот продукт и как пользователи могут с ним взаимодействовать.
- Приоритет — обучение . Как я уже упоминал, обучение пользователей тому, какое решение вы предлагаете, будет важным, независимо от того, положительно или отрицательно они к нему относятся изначально. Иногда мы предполагаем, что люди «сами всё поймут», и мы можем пропустить этот шаг, но это ошибка. Необходимо реалистично оценивать ситуацию и заблаговременно отвечать на вопросы, которые могут возникнуть у скептически настроенных пользователей, чтобы обеспечить положительный пользовательский опыт.
- Не нужно навязывать это . В последнее время мы обнаруживаем, что программные продукты, которыми мы с удовольствием пользовались раньше, добавляют функциональность генеративного ИИ и делают её обязательной. Я уже писал о том, как рыночные силы и тенденции в индустрии ИИ приводят к этому, но это не делает ситуацию менее вредной. Вам следует быть готовыми к тому, что какая-то группа пользователей, пусть даже небольшая, захочет отказаться от использования инструмента генеративного ИИ. Это может быть связано с критическим отношением, правилами безопасности или просто отсутствием интереса, но уважение к этому — правильный выбор для сохранения и защиты доброго имени вашей организации и отношений с этим пользователем. Если ваше решение полезно, целесообразно, хорошо протестировано и хорошо информировано, вы сможете со временем увеличить использование инструмента, но навязывание его людям не поможет.
Заключение
В конечном счете, многие из этих уроков — полезные советы для всех видов технической работы над дизайном продуктов. Однако я хочу подчеркнуть, насколько сильно генеративный ИИ меняет взаимодействие пользователей с технологиями и какой значительный сдвиг он представляет для наших ожиданий. В результате, как никогда важно внимательно изучить пользователя и его исходные данные, прежде чем запускать подобные продукты в мир. Как многие организации и компании убеждаются на собственном горьком опыте, новый продукт — это шанс произвести впечатление, но это впечатление может быть как ужасным, так и хорошим. Ваши возможности произвести впечатление значительны, но также и возможности испортить отношения с пользователями, подорвать их доверие и создать себе серьезные проблемы с устранением последствий. Поэтому будьте осторожны и внимательны на начальном этапе! Удачи!
Источник: towardsdatascience.com
