4 строки, которые следует включить в ваше умение играть за Клода

Без этого Клод мог бы с уверенностью ошибаться.

Делиться

Несколько недель назад меня попросили на работе сделать что-то новое: имея на руках массив неструктурированных текстовых данных, подготовить подробный PDF-отчет с анализом отзывов клиентов о наших продуктах за этот квартал.

Итак, я написал четкий запрос. Дал Клоду подробный набор инструкций. Передал ему набор данных. Он выдал мне результат. Я его выполнил.

Но когда мы с заинтересованной стороной подробно изучили конечный результат, мы заметили некоторые всё более тревожные моменты.

Клод был совершенно уверен, что ошибается.

Не то чтобы совсем уж неправильные утверждения, скорее галлюцинации, возникшие из ниоткуда. Скорее, это чрезмерная самоуверенность и ошибка. В результате получался бы ежеквартальный аналитический отчет, в котором говорилось бы что-то вроде:

«В этом квартале негативные отзывы о платьях в отделе выросли на 23%, что свидетельствует о значительном изменении уровня удовлетворенности клиентов, требующем немедленного внимания со стороны команды разработчиков продукции».

Звучит отлично. За исключением того, что этот всплеск был вызван почти исключительно одним популярным товаром, который был выпущен в середине квартала с известным дефектом размера. Один продукт. Не весь отдел.

Клод ничего не знал. И в моём задании не было указано, что ему должно быть всё равно.

Навык составления ежеквартального отчета об отзывах клиентов

Я расскажу вам о разработанном мной навыке Claude, который генерирует ежеквартальный отчет об отзывах клиентов на основе неструктурированного текста отзывов о продукте, который предоставляется заинтересованным сторонам в формате PDF.

Разумеется, я не буду делиться самим набором данных, который анализировала на работе. Я использую набор данных « Отзывы о женской одежде в интернет-магазине» с Kaggle (лицензия CC0). Он содержит 23 000 реальных анонимизированных отзывов покупателей по различным категориям одежды (топы, платья, брюки, куртки и многое другое) с текстом, звездными рейтингами и метаданными о товарах. Упоминания компании в отзывах заменены на «продавец».

Данный навык должен:

• Ознакомьтесь с отфильтрованной подборкой отзывов за текущий квартал.
• Сгруппируйте их по отделам.
• Выявление тенденций и проблем
• Напишите профессиональное резюме в формате PDF для команды руководителей продукта.

Вот оригинальное задание:

Вы — аналитик данных, занимающийся составлением ежеквартального отчета об отзывах клиентов для интернет-магазина женской одежды. На основе отзывов клиентов за этот квартал (включая текст отзывов, звездные рейтинги и отделы) составьте профессиональный отчет для заинтересованных сторон, включающий:

– Общий обзор настроений за квартал

– Ключевые темы по отделам (Верхняя одежда, Платья, Низ, Куртки)

– 2-3 наиболее важных вывода из текста рецензии

– Краткая рекомендация для команды разработчиков продукта.

Будьте профессиональны и говорите ясно.

После завершения этого задания, пожалуйста, создайте навык под названием «Обзоры-анализ» и сохраните в нем свои инструкции.

Как на самом деле выглядит «уверенная неправота»

Вот пример того, чего добился Клод, используя описанные выше наивные навыки, в квартале, когда отдел платьев получил множество негативных отзывов:

«В этом квартале значительно возросло количество негативных отзывов в отделе платьев, покупатели часто указывают на проблемы с посадкой и размерами. Это говорит о том, что стандарты размеров ритейлера могут расходиться с ожиданиями покупателей — тенденция, которая, если ее не исправить, может подорвать лояльность к бренду в этой ключевой категории».

Настоящее объяснение? Одно платье (единственный артикул) поступило в продажу на 7-й неделе с проблемой качества партии. Отзывы были почти исключительно посвящены этому одному товару. Остальные платья в отделе продавались без проблем.

Клод, по сути, ничего не изобрел. Просто у его подхода не было контекста, объясняющего, почему эта закономерность существовала. И без этого контекста он сделал то, что обычно делают магистерские программы: заполнил пробел наиболее правдоподобно звучащим повествованием.

Решение: 4 строки, которые ОБЯЗАТЕЛЬНО нужно включить.

Строка 1: Скажите Клоду, какого контекста здесь не хватает.

Вам НЕ предоставляется доступ к календарям запуска продуктов, данным об остатках на складе, рекламным кампаниям или истории отдельных товарных позиций. НЕ следует связывать тенденции на уровне отдела с общебрендовыми причинами. Сообщайте о закономерностях, которые вы наблюдаете в тексте; не объясняйте, почему они существуют, если сами отзывы не дают однозначного объяснения.

Эта единственная инструкция устраняет огромную категорию уверенных ошибок. Без неё Клод всегда будет стремиться к стратегическому нарративу, потому что именно так поступает хороший аналитик, а Клод стремится быть хорошим аналитиком.

Проблема в том, что хороший аналитик также знает, чего он не знает. Он говорит: «В этом квартале мы наблюдаем увеличение количества жалоб на несоответствие размеров платьев. Возможно, это связано с недавним запуском новой модели, но для подтверждения нам потребуются данные на уровне отдельных товаров». Клод не скажет этого, если вы ему не скажете.

Строка 2: Дайте определение тому, что на самом деле означает «значительный».

Клод обожает слово «значимый». Он постоянно его использует и почти никогда не дает ему определения.

Отмечайте изменение настроения как «значительное» только в том случае, если оно представляет собой изменение более чем на 15 процентных пунктов в соотношении положительных/отрицательных отзывов по сравнению с предыдущим кварталом ИЛИ если определенная тема встречается более чем в 20% отзывов в данном отделе. Для менее значительных сигналов используйте формулировки типа «незначительный рост» или «небольшое увеличение». Не используйте слова «заметный» или «значительный» для значений ниже этих пороговых значений. Всегда указывайте фактическое числовое значение изменения вместе с вашим утверждением.

Вы можете настроить пороговые значения в 15% и 20% в соответствии с вашими данными. Суть в том, чтобы привязать терминологию Клода к чему-то реальному.

Без этого Клод назовёт «значительным» как всплеск жалоб после трёх отзывов, так и реальное падение настроения на 30 пунктов. Ваши заинтересованные стороны начнут игнорировать ваши сообщения. А когда произойдёт что-то действительно значительное, они об этом не узнают.

Строка 3: Добавьте критерий достоверности к каждому выводу.

Перед каждым выводом укажите в скобках уровень достоверности: [Подтверждено данными], [Возможно] или [Предположительно].

Используйте [Подтверждено данными] только в том случае, если вывод непосредственно следует из предоставленного текста обзора. Используйте [Возможно], если вывод является обоснованным умозаключением из текста. Используйте [Предположительно], если вы делаете предположения о причинах или контексте, которые отсутствуют в самих обзорах.

Когда я впервые добавил эту строку, я ожидал увидеть в основном теги [Data-Supported]. На самом деле я получил смесь всех трех, что наглядно показало мне, насколько Клод заполнял пробелы в моих предыдущих отчетах, даже не осознавая этого.

Пример того, как выглядит результат после добавления этой строки:

Теперь заинтересованные стороны могут точно видеть, что является достоверной информацией, а что — предположением. Это гораздо более честный отчет.

Строка 4: Попросите Клода указать пределы анализа.

В конце отчета включите раздел под названием «Чего этот отчет не может вам рассказать». Перечислите 2-3 фактора, которые необходимы для получения более убедительных выводов, например, данные об отзывах по отдельным артикулам, показатели возврата или данные о повторных покупках.

Эта фраза заставляет Клода признать ограниченность собственного анализа. И она дает заинтересованным сторонам четкий план дальнейших исследований, что, по сути, является наиболее ценным, что может сделать аналитик.

Вот результат:

Как использовать Клода для совершенствования навыка

Одной написанной инструкции недостаточно. Необходимо тестировать и улучшать навык так же, как вы бы совершенствовали модель.

Шаг 1: Запустите навык на известных примерах.

Отфильтруйте набор данных по временному интервалу, в течение которого вам уже известно, что произошло. (Квартал с отзывом продукции, сезонная акция, период с необычно высоким уровнем возврата и т. д.) Посмотрите, что говорит Клод. Правильно ли он использует слово «значительный»? Приводит ли он факты/статистику там, где это необходимо?

Шаг 2: Передайте Клоду его собственные результаты и попросите его провести аудит.

Клод хорошо умеет распознавать собственную самоуверенность, если его об этом прямо попросить.

Представляем вашему вниманию ежеквартальный отчет об отзывах клиентов, составленный аналитиком на основе искусственного интеллекта. Проанализируйте все выводы в этом отчете и отметьте те, которые:

– В тексте обзора делаются причинно-следственные утверждения без прямых доказательств.

– Использовать слова вроде «значительный» или «примечательный» без всякого оправдания.

– Связывать отдельные проблемы с продукцией с общебрендовыми тенденциями.

– Предположим, что контекст отсутствует в наборе данных (календари запуска,

(инвентаризация, история покупок)

Для каждого отмеченного пункта предложите пересмотренный вариант, который будет более корректно структурирован.

Шаг 3: Добавьте пункт для каждого обнаруженного вами сбоя.

Каждый раз, когда Клод составляет отчёт с явно неверным или чрезмерно самоуверенным выводом, попросите его добавить новое ограничение к вашему навыку. Со временем ваш навык практически превратится в хранилище всего, в чём Клод ошибается.

Предостережение

Добавление ограничений к вашему навыку иногда может привести к тому, что Claude выдаст результат, в котором каждое предложение заканчивается фразой «…хотя для подтверждения этого потребуются дополнительные данные».

Это тоже бесполезно .

Цель состоит в достижении такой степени уверенности, при которой сила высказываний Клода соответствует силе доказательств. Если вы обнаружите, что Клод становится слишком нерешительным, вы можете добавить уравновешивающее ограничение:

Не стоит чрезмерно уточнять каждое утверждение. Если закономерность четко и последовательно прослеживается во многих обзорах, изложите ее ясно и приведите ссылки на данные, подтверждающие эту закономерность. Уточнения следует использовать только для действительно неопределенных или предположительных утверждений.

Заключение

Клод впечатляет умением создавать отчеты профессионального вида, что иногда и создает проблемы.

За внешней безупречностью скрывается самоуверенность. Ваши заинтересованные стороны видят аккуратное форматирование и авторитетный язык и считают выводы достоверными, даже если это не так.

Четыре строки, которые я здесь проанализировал, не делают Клода менее компетентным. Они делают его более честным. А в контексте журналистики честность ценится больше, чем впечатляющее впечатление.

Подробнее о других областях применения Claude, включая создание панелей мониторинга, отладку и написание документации, можно узнать здесь:

→ 3 навыка Клода, необходимые каждому специалисту по анализу данных в 2026 году

Спасибо за прочтение!

Свяжитесь со мной в LinkedIn

Купите мне кофе , чтобы поддержать мою работу!

Хейден Пеллетье. Все работы Хейдена Пеллетье.

Источник: towardsdatascience.com