Сравнение Prompt Engineering и RAG для редактирования резюме.

Проведение сравнения без написания кода в Azure

Делиться

Несмотря на приобретение новых достижений и квалификаций, я наблюдаю снижение числа заявок на вакансии и приглашений на собеседования, особенно в последний год. Как и многие другие, я рассматриваю использование больших языковых моделей (LLM) для помощи в создании и редактировании резюме. В идеале, для каждой вакансии следует создавать новое резюме, адаптируя формулировки опыта работы к особенностям конкретной вакансии и компании. Если вы находитесь хотя бы в середине карьеры, у вас должно быть больше опыта работы, чем помещается в резюме, и вам нужно будет определить, что следует исключить из резюме. LLM могут помочь обобщить, перефразировать и выбрать наиболее релевантный опыт работы, чтобы адаптировать резюме под конкретную вакансию.

В этой статье мы рассмотрим использование алгоритмов генерации подсказок и алгоритмов генерации с расширенным поиском (RAG) в Azure для дополнения языковых моделей при написании резюме. Языковые модели могут помочь в написании резюме и без RAG, но использование RAG позволяет нам экспериментировать с RAG и определить, приводит ли RAG к улучшению качества резюме. Мы также сравним полную языковую модель с меньшей языковой моделью. Для сравнения различных случаев мы используем следующие метрики (по данным Microsoft):

Обоснованность : Обоснованность оценивает, насколько хорошо ответы модели соответствуют информации из исходного источника. Магистранты должны давать ответы, основанные на предоставленных данных. Любые ответы, выходящие за рамки предоставленного контекста, нежелательны для составления резюме; мы не хотим, чтобы магистерская программа выдумывала достижения в работе!

Релевантность : Релевантность измеряет, насколько уместны ответы модели на заданные вопросы. В нашем случае, в резюме магистра права должно быть указано содержание, соответствующее описанию вакансии.

Последовательность : Последовательность оценивает, насколько представленный текст ясен, лаконичен и уместен. Это особенно важно в резюме, где краткость и ясность имеют ключевое значение.

Беглость речи : Беглость речи измеряет, насколько хорошо магистр права соблюдает правила английского языка. В резюме должна быть соблюдена грамматика и орфография.

Мы оценим процесс создания резюме в трех случаях: 1) только для инженеров, 2) резюме RAG и 3) резюме RAG на основе другой базовой модели. Оценка будет качественной в соответствии с указанными выше показателями, при этом каждый результат будет оцениваться от более низкого к более высокому как неудовлетворительный, удовлетворительный или удовлетворительный.

Чтобы юрист с дипломом магистра права (LLM) написал резюме, нам необходимо предоставить информацию об опыте работы. В большинстве случаев это легко сделать с помощью метода «подсказки». Метод «подсказки» — это способ направлять юристов с дипломом магистра права к предоставлению более полезных ответов. Юристы с дипломом магистра права обучаются на очень обширных наборах данных (например, в интернете), чтобы получить как можно больше информации о человеческом языке и закономерностях. Однако это означает, что им необходим контекст для предоставления конкретных (и полезных) ответов. Методы «подсказки» — это способы взаимодействия с юристами с дипломом магистра права для улучшения их ответов.

Чтобы использовать инструмент оперативного проектирования для помощи в составлении резюме, мы предоставляем контекст (что LLM будет помогать нам с резюме) и опыт работы, чтобы у него были данные для анализа. Затем мы предоставляем описание вакансии и направляем его в процессе написания резюме. Однако при наличии большого количества вакансий мы можем столкнуться с ограничениями по количеству токенов, что потребует либо сокращения опыта, либо увеличения лимитов токенов (и, следовательно, стоимости) при использовании LLM и интерфейса.

Для проведения этого эксперимента без написания кода мы будем использовать Azure. Начнем с оперативной разработки, используя базовую модель chat-gpt-4o. Мы будем следовать руководству Azure по созданию приложения на основе RAG. Для начала выполните все шаги разделов «Создание Foundry Hub» и «Развертывание моделей» руководства. Если вы используете только оперативную разработку, пропустите следующие несколько разделов и перейдите к разделу «Развертывание Index в Playground», выполнив первые два шага для развертывания базовой модели chapt-gpt-4o.

Я постараюсь максимально подробно описать методы, но не буду предоставлять свое резюме/опыт работы или указывать конкретное объявление о вакансии, которое я использую, из соображений конфиденциальности и профессионализма.

В большинстве случаев мы будем использовать одни и те же подсказки. В случае с инженерными подсказками будет добавлен шаг, где мы предоставим типовое резюме для магистра права (LLM) в качестве справочного материала. Подсказки адаптированы из статьи LinkedIn об использовании подсказок для составления резюме для магистров права. Для начала мы указываем системное сообщение в поле «Укажите модели инструкции и контекст» в Azure Playground. Системное сообщение следующее:

Вы будете выступать в роли профессионального составителя резюме, умеющего кратко и точно излагать информацию, используя подходящий для данной области язык, избегая при этом избыточности и клише. Ваша задача — представить мой опыт как решение для целевой вакансии, адаптировав его таким образом, чтобы было ясно, что я могу справиться с основными требованиями работы. Важно, чтобы вы не выдумывали достижения, которых у меня нет. Только перефразируйте и реорганизуйте уже имеющийся опыт.

Сообщение системы содержит основную задачу для магистра права (написание резюме), а также общие рекомендации относительно обоснованности (не выдумывайте достижения), релевантности (должность… соответствует целевой вакансии) и связности (избегайте избыточности и клише).

Теперь мы создадим типовое резюме. Я использовала следующий шаблон: «Сначала я перечислю свои достижения на работе. Составляйте маркированные списки и краткие описания резюме, основываясь только на предоставленной информации. Ниже приведен мой опыт работы, который вы должны использовать. Дайте мне знать, если вы всё поняли». Затем я создала типовое резюме. Я не буду использовать этот шаблон при использовании метода RAG.

Далее мы предоставляем студенту магистратуры дополнительную информацию о компании-работодателе: «Вот некоторые подробности о компании-работодателе, чтобы вы могли более эффективно адаптировать ответы к потребностям компании. Дайте мне знать, если вы все поняли». Затем я привела информацию о компании из объявления о вакансии; часто объявления о вакансиях начинаются с одного-двух абзацев о компании. Затем я предоставила текст объявления о вакансии со следующим подсказкой:

Далее я предоставлю вам описание вакансии. Мы будем использовать это описание, чтобы шаг за шагом составить резюме с кратким изложением и 3-5 пунктами для каждой занимаемой мной должности. Дайте мне знать, если вы поняли описание вакансии, и, пожалуйста, назовите должность, на которую я претендую. [вставить описание вакансии здесь].

Чтобы лучше ориентироваться на требования к кандидатам с дипломом магистра права (LLM) и предоставить больше контекста для пунктов резюме, я задал следующие вопросы: «Какие наиболее важные технические навыки необходимы для этой работы? Какие технические навыки дадут мне преимущество на этой должности?» и затем: «Какие наиболее распространенные области специализации требуются для [этой должности]?». Цель этих вопросов — повысить релевантность предоставленных пунктов и кратких описаний.

Теперь пора приступить к составлению содержания резюме. Я уже определилась с примерным форматом: начну с краткого обзора в одном абзаце, затем добавлю 3-5 пунктов для двух последних мест работы, а затем 1-3 пункта для остальных. Завершу разделом об образовании и кратким описанием ключевых релевантных навыков. Магистр права предоставит все, кроме раздела об образовании.

Сначала я попросил его предоставить краткое изложение:

На основе моего опыта напишите краткое резюме из 4-6 предложений, демонстрирующее мой более чем 10-летний опыт работы, включая только то, что имеет отношение к данной должности. Покажите, как мой опыт может удовлетворить потребности [компании X]. Используйте пассивное третье лицо, как это принято в резюме.

Теперь я прошу его предоставить маркированный список для каждой из моих задач:

Напишите 3-5 кратких пунктов из моего опыта работы в компании X, которые наилучшим образом демонстрируют, насколько я соответствую требованиям данной должности. Учитывайте технические требования и наиболее распространенный опыт, обсуждавшийся ранее. Начинайте каждый пункт с глагола действия, затем описывайте задачу и заканчивайте результатом. При наличии информации, количественно оцените каждое утверждение, используя числа, проценты, суммы в долларах и т. д. Пункты не должны превышать 2 строки на узких полях, шрифт 10 пунктов.

Я повторяю это указание для каждой вакансии, добавляя пункт «Избегайте повторения с предыдущими пунктами» и изменяя количество запрашиваемых пунктов, как описано ранее.

Наконец, получив список всех мест работы, я прошу магистра права предоставить краткое описание соответствующих технических навыков:

Предоставьте до 5 кратких пунктов, summarizing ключевые сертификаты и технические навыки, которыми я обладаю и которые имеют отношение к данной должности. Приводите краткий пункт только в том случае, если у меня есть конкретный соответствующий сертификат или технический навык.

Ответы на эти вопросы служат отправной точкой для составления резюме, которое должно потребовать минимальной доработки — в основном, для форматирования и удаления неточной информации, а также для того, чтобы резюме поместилось на одной странице. На этом заканчивается задание по инженерной специальности.

Следующий шаг после оперативного проектирования — это RAG (Ready-Account-Grid). RAG позволяет пользователям создавать собственные библиотеки, которые будут служить базой знаний для LLM (Learning Learning and Learning). В данном случае библиотека документов состоит из уже созданных резюме. Более старые резюме содержат больше подробностей о достижениях на ранних этапах карьеры. Для более свежего опыта работы этот подход полезен после того, как вы уже создали несколько резюме, охватывающих весь спектр вашего опыта. Создание RAG на основе ваших резюме поможет LLM сосредоточиться на вашей собственной базе опыта без необходимости использования специально обученной или настроенной модели. RAG не является обязательным для использования LLM при написании резюме и потребует вычислительных затрат, но может улучшить результаты по сравнению с использованием только оперативного проектирования и упростить предоставление более широкого спектра опыта для LLM.

Для кейсов RAG мы будем использовать те же подсказки, за исключением того, что удалим первую подсказку, касающуюся опыта работы, поскольку RAG предоставит эту информацию. Чтобы использовать RAG, мы возвращаемся к руководству по Azure, на этот раз выполняя разделы «Добавить данные в проект» и «Создать индекс для данных». Однако вместо использования данных, предоставленных в руководстве, создайте и загрузите папку со всеми резюме, которые вы хотите использовать для LLM. После завершения индексирования выполните шаг четыре «Проверить индекс в песочнице», чтобы добавить данные в контекст модели. После этого мы повторяем использованные ранее подсказки, за исключением того, что удаляем первую подсказку, касающуюся истории работы.

Наконец, чтобы оценить генерацию резюме с использованием другой базовой модели, мы развертываем в проекте новую модель, на этот раз chat-gpt-4o-mini, для оценки ее производительности с помощью RAG. Языковые модели с большим количеством параметров (LLM) имеют триллионы параметров, что требует размещения на уровне предприятия. Меньшие по размеру языковые модели (8 миллиардов для chat-gpt-4o-mini против 1,8 триллиона для chat-gpt-4o) стремятся обеспечить большую часть возможностей LLM в более компактном и гибком форм-факторе, поддерживающем локальное развертывание, что особенно важно для безопасности и конфиденциальности данных небольших компаний, которые могут не иметь возможности поддерживать внутреннее размещение LLM. После развертывания новой модели мы возвращаемся в тестовую среду, добавляем системное сообщение и данные из RAG и повторяем те же запросы, что и раньше.

В таблице ниже приведена сводная информация о результатах по каждому случаю:

В первоначальном варианте резюме инженера были существенные проблемы с обоснованием, поэтому я бы вообще не стал его использовать. В нем были выдуманы сертификаты, которых у меня нет, и суммы в долларах за улучшения, которые я не делал. Два варианта резюме RAG были лучше, но все еще имели некоторые недостатки. Chat-gpt-4o был немного более обоснованным, но все же содержал некоторые ошибки, которых не было в мини-версии. Учитывая известные проблемы, связанные с галлюцинациями LLM, следует ожидать проверки всех утверждений. Все три модели были посредственными с точки зрения релевантности; они не включали несколько важных фраз из описания вакансии; они смогли сформулировать приемлемые пункты, но эти пункты можно было бы улучшить с помощью ручного редактирования. Резюме RAG, особенно полная версия, были немного более релевантными. Все модели были приемлемы с точки зрения связности, хотя пункты RAG были более лаконичными. Все модели содержали приемлемый письменный английский. Если у вас большое портфолио резюме, вероятно, стоит использовать RAG для их создания, хотя бы для того, чтобы уменьшить вероятность галлюцинаций (если, конечно, вы хотите быть честными — некоторые достижения, приписанные мне в рамках магистерской программы, были весьма впечатляющими!).

В заключение несколько соображений об использовании программ магистратуры для составления резюме. Программы магистратуры предоставили хорошую отправную точку для составления резюме, особенно если вам трудно придумать новые идеи или формулировки, или вы хотите начать резюме с нуля. Как правило, редактировать первый черновик резюме проще, чем создавать новый, поэтому они могут помочь соискателям в составлении резюме. Однако мне нужны были уже имеющиеся пункты резюме и опыт работы, чтобы программа магистратуры могла их использовать. Это означает, что мне нужно знать, как писать пункты резюме. Написание этих пунктов — навык, который быстро теряет свою актуальность, поэтому я рекомендую не полагаться на программы магистратуры для написания всех резюме, особенно по мере приобретения нового опыта работы. Во-вторых, мне нужно было еще больше сократить количество пунктов и выбрать те, которые предоставила программа магистратуры, чтобы оставить; я мог бы избежать этого, попросив программу магистратуры написать резюме на целой одной странице вместо того, чтобы действовать шаг за шагом, но это могло бы снизить качество (особенно релевантность) ответов. Наконец, я мог бы улучшить ответы, используя интерактивное общение, чтобы помочь программе магистратуры редактировать и улучшать свои ответы. Однако я хотел максимально контролировать условия, чтобы улучшить сопоставимость результатов между различными случаями.

Использование специалистов по управлению жизненным опытом (LLM) может быть полезным в гонке вооружений в сфере искусственного интеллекта для резюме, направленной на сокращение времени и усилий на подготовку каждого отдельного резюме, но помните, что ваши навыки должны оставаться на высоте; чем больше вы позволяете чему-то другому думать за вас, тем менее компетентными вы будете. Используйте LLM для редактирования и поиска новых формулировок в резюме, а не для того, чтобы заваливать объявления о вакансиях заявками. Самое важное — налаживайте человеческие связи; сеть контактов и связи в компании — лучший способ добиться того, чтобы ваше резюме было рассмотрено человеком — менеджером по найму, а не отсеяно HR-ботом.

Источник: towardsdatascience.com