Как за два года появилась и начала исчезать самая странная профессия в IT

В начале 2023 года Anthropic опубликовал вакансию «Prompt Engineer and Librarian». Вилка зарплаты — от 175 000 до 335 000 долларов в год. Это больше, чем зарабатывают большинство старших инженеров в крупных технологических компаниях.

Требования в описании вакансии не предполагали знания математики, программирования или машинного обучения. Требовалось понимание языка, способность систематически тестировать формулировки и умение документировать результаты.

Скриншот вакансии разошёлся по твиттеру за несколько часов. Люди не могли понять, серьёзно ли это.

Серьёзно.

Термин «промпт-инжиниринг» появился не в 2023-м. Он присутствует в исследовательских работах с 2021 года, а идея, лежащая в основе, — с 2020-го.

В мае 2020 года OpenAI опубликовал GPT-3 — языковую модель с 175 миллиардами параметров. Статья называлась «Языковые модели — это обучающиеся с малым числом примеров». Ключевое открытие, которое там описывалось: GPT-3 способен выполнять задачи, если перед задачей показать ему несколько примеров в том же тексте. Никакого дообучения, никакого изменения весов. Просто примеры в запросе.

Это называется few-shot prompting — обучение с малым числом примеров прямо в тексте запроса. Дать модели два-три примера того, что нужно сделать, и она улавливает паттерн. Причём точность зависит от того, как именно примеры сформулированы, какой порядок они идут и как оформлен сам запрос.

Исследователи быстро обнаружили, что формулировки имеют значительное влияние на результат. Один и тот же вопрос, заданный по-разному, давал кардинально разные ответы. Это создало прикладную задачу — систематически искать формулировки, которые дают наилучший результат.

Чтобы понять, почему промпт-инжиниринг имеет смысл, нужно понять, как обучаются языковые модели.

GPT-3 и его наследники обучены на огромных массивах текста — книгах, сайтах, форумах, научных статьях. Задача обучения одна: предсказать следующий токен (слово или кусок слова) по предыдущим. Из этой простой задачи на масштабе возникает нечто, что выглядит как понимание.

Когда вы даёте модели промпт, она читает его как продолжение обучающего текста и предсказывает, что должно идти дальше — исходя из паттернов, которые видела при обучении. Если в промпте сказано «ты опытный юрист», модель активирует паттерны, связанные с юридическими текстами. Если сказано «отвечай кратко», она ориентируется на паттерны коротких ответов. Не потому что «понимает» инструкцию в человеческом смысле, а потому что такие формулировки в обучающих данных коррелировали с определённым стилем текста после них.

Это объясняет, почему формулировки важны — и почему они не вполне предсказуемы без экспериментов.

В январе 2022 года команда Google Brain опубликовала работу «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models». Исследователи обнаружили: если перед ответом показать модели примеры с промежуточными шагами рассуждения, точность на сложных задачах резко вырастает.

Вместо того чтобы спрашивать «сколько будет 17 умножить на 24», нужно показать пример: «Задача: у Маши 5 яблок, она купила ещё 3, потом отдала половину. Сколько осталось? Рассуждение: 5 плюс 3 равно 8, половина от 8 равно 4. Ответ: 4». Потом задать свой вопрос.

Модель видит формат промежуточного рассуждения и воспроизводит его структуру при ответе на новый вопрос. Для задач, требующих последовательных шагов — арифметика, логика, планирование — разница была существенной.

Это казалось почти магией какой-то. 540-миллиардная модель, которой показали восемь примеров рассуждения, обходила системы, специально дообученные на математических задачах.

ChatGPT запустился в ноябре 2022-го. Первый миллион пользователей — за пять дней. К началу 2023-го массовая аудитория впервые начала разбираться, как именно разговаривать с языковой моделью, чтобы получить нужный результат.

LinkedIn зафиксировал многократный рост упоминания «prompt engineer» в профилях. Появились курсы на Coursera, Udemy и десятках менее известных платформ. OpenAI и Anthropic опубликовали официальные руководства по написанию промптов. Появились исследователи, специализирующиеся исключительно на этой теме.

Параллельно работодатели начали включать знание промпт-инжиниринга в требования к вакансиям — даже там, где это прямо не следовало из должностных обязанностей. Маркетолог, юрист, аналитик — везде стало появляться «умение работать с ИИ-инструментами».

Весь 2023-й год не утихала дискуссия о том, насколько промпт-инжиниринг — это навык, а не временный артефакт несовершенства моделей.

Аргумент скептиков такой: чем лучше становятся модели, тем меньше нужно специального умения их уговаривать. GPT-4 значительно менее чувствителен к формулировкам, чем GPT-3. Следующие версии будут ещё более устойчивы. Если это так, профессия исчезнет раньше, чем человек успеет её освоить на уровне, оправдывающем 335 тысяч в год.

Аргумент сторонников — тоньше. Настоящий промпт-инжиниринг не сводится к подбору специфических фраз. Это понимание того, как модель обучена, какие задачи она решает хорошо, а какие — плохо, как разбить сложную задачу на части, как выстроить контекст для длинного рабочего процесса, как проверить качество результата. Этот набор навыков не становится бесполезным от того, что модели умнеют — он просто перемещается на более высокий уровень абстракции.

К 2024-2025 годам промпт-инжиниринг как отдельная специализация постепенно растворился в смежных ролях. Не исчез, а перестал быть самостоятельной строчкой в большинстве вакансий — стал частью того, что ожидается от аналитика данных, продуктового менеджера, технического писателя или разработчика.

Это нормальная судьба технического навыка, который сначала выглядит уникальным, а потом становится базовым. Так было с умением пользоваться поисковыми операторами Google в начале 2000-х — тогда тоже были специалисты по поиску, потом это просто стало общим навыком.

Вакансия Anthropic за 335 тысяч, вероятно, была отражением не рыночной стоимости одного навыка, а дефицита людей, которые одновременно хорошо понимают язык и хорошо понимают, как работают языковые модели. Этот дефицит никуда не делся. Просто называется иначе.