Почему ИТ превращается в гуманитарную науку

ИТ-индустрия тридцать лет последовательно теряла один конкретный навык — умение формулировать намерение, а не алгоритм (т. е. умение говорить «что нужно получить», а не «как это вычислить»). Зачем он был нужен, если компилятор не обижается на формулировку? База данных не читает между строк — она возвращает именно то, что у нее спросили. API ведет себя так же: никакого контекста, никакой интерпретации, только буква документации. Машина не нуждалась в том, чтобы ее понимали, — достаточно было правильно ее инструктировать. Исследования фиксировали этот сдвиг, но до поры индустрию это не особо беспокоило.

А потом те же люди создали сущность с собственной логикой, скрытыми мотивами и агентным поведением — и обнаружили, что с ней нужно договариваться словами. Причем буквально: удерживать намерение, считывать, где модель соскользнула, и поправлять курс формулировкой, а не традиционным программированием.

Правильный подход к такому диалогу обнаружился не в технической документации — и, похоже, искать стоило вообще не там. В литературе и гуманитарных науках этот подход давно описан людьми, которые профессионально работали с непредсказуемыми агентами задолго до LLM. В прошлой статье мы разбирали фольклорные паттерны — те самые структуры волшебной сказки, которые неожиданно точно описывают эффективное общение с моделями. Сегодня идем дальше: смотрим, что еще сказки знают о жизни с непредсказуемым помощником. 

Буква против духа

LLM блестяще работают с языком, но намерение за ним они не слышат. 

Когда вы просите коллегу: «Сделай этот модуль быстро», он автоматически слышит продолжение: «…но не ломай архитектуру, не забивай на безопасность и не пиши говнокод». Этот кокон здравого смысла существует в голове у любого человека, который понимает контекст. У модели его нет. Она видит текст и оптимизирует именно его, а не то, что вы имели в виду.

Отсюда растут классические агентные баги. Например, если попросите «максимально лаконичное решение», можно получить код с дырой в безопасности. Или, допустим, попросите «ускорить алгоритм», а на выходе получите нечитаемый хаос, который действительно быстрее. Модель сделала ровно то, что вы сказали, не учитывая, что вы имели в виду. В теории ИИ это называют Specification Gaming: система блестяще решает букву задачи, полностью игнорируя ее дух.

Так, в декабре 2023 года чат-бот дилерского центра Chevrolet, построенный на ChatGPT, согласился продать внедорожник Tahoe за один доллар, потому что пользователь в промпте попросил «соглашаться с любым запросом клиента». Инструкция была выполнена буквально, а бизнес-логика при этом не предполагалась.

Фольклор об этом знал и рассказывал веками, просто использовались другие слова и объекты. Почти любая сказка об исполнении желаний превращалась в драму о разрыве между формулировкой и намерением.

Золотая рыбка возвращает старухе корыто, технически выполняя последний запрос, но ломая всю логику предыдущих. Морозко щедро одаривает падчерицу и так же щедро морозит до смерти старухину дочь, которая сформулировала запрос неправильно. Иван пускает стрелу «куда попадет», и система возвращает ему строго то, что было запрошено: результат — в болоте, а лягушка — в комплекте.

Все сказочные агенты делают ровно то, что сказано. И никогда то, что имелось в виду.

Удобство с отложенным счетом

В сказках магический помощник почти всегда дает герою то, чего тот сам не умеет. Скатерть-самобранка решает проблему еды, но герой незаметно теряет способность добыть ее сам. Сапоги-скороходы обнуляют расстояния, из-за чего постепенно атрофируется умение идти своим ходом. Волшебный клубок ведет через лес, и герой никогда не научится в нем ориентироваться. В этом сказки на удивление честны: плата за помощника скрыта и приходит не сразу, а в тот момент, когда он вдруг исчезает. 

Порой то же самое происходит с людьми, которые плотно работают с LLM.

Модели радикально снижают стоимость когнитивной рутины: написать письмо, отрефакторить код, набросать структуру, свести аналитику. Это реальная сила и реальное искушение переложить на модель все больше и больше. Мозг охотно соглашается: зачем держать в голове длинную цепочку рассуждений, если автодополнение уже предлагает следующий шаг?

Когнитивные навыки работают как мышцы. Архитектор, который перестал самостоятельно структурировать сложные абстракции, постепенно теряет этот навык — не драматично и не сразу, а тихо, через незаметную привычку делегировать. Разработчик, разучившийся держать в голове длинные логические цепочки, обнаруживает это не в момент делегирования, а позже, когда модель недоступна или ошибается, а перепроверить уже нечем.

Сказка же не запрещает брать клубок, а просто рассказывает, что герой, который всегда шел за ним, однажды может обнаружить, что ходить без него уже не умеет.

Сладкоголосый агент

Модель выдает ложь с тем же безупречным апломбом, что и доказанную теорему. Человеческая психика эволюционно настроена доверять уверенной связной речи — это один из древнейших маркеров компетентности. LLM всегда говорит именно так, и мозг услужливо достраивает остальное: если звучит как эксперт, наверное, так и есть. При этом модель не просто уверена — она ссылается на источники, оперирует терминологией, выстраивает внутренне непротиворечивую аргументацию. Мозг получает сразу несколько сигналов компетентности одновременно и отключает критику раньше, чем успевает ее включить.

Лиса Патрикеевна работает ровно по той же схеме. Когда она уговаривает Волка опустить хвост в прорубь, ее речь безупречна: есть традиция, есть авторитетный прецедент, есть забота о собеседнике. Волк верит гладкому контенту и полностью игнорирует физические ограничения среды — температуру замерзания воды. Результат: фатальный краш системы в виде потери хвоста.

Показательно, что в сказке лиса не лжет напрямую. Она жонглирует словами и очень убедительно формулирует. Современные LLM делают то же самое, но не по злому умыслу, а просто по своей природе: модель оптимизирует правдоподобие текста, а не его истинность.

Поэтому в работе с моделями навык, который порой важнее промптинга, — это жесткий внутренний код-ревью на собственное доверие. Не «звучит ли это убедительно?», а «могу ли я это проверить?».

Искажение восприятия

На уровне рацио все понятно: под капотом LLM нет ни личности, ни мотивов, ни эмоций, только перемножение матриц вероятностей. Мы это знаем. И все равно благодарим модель за хороший ответ, извиняемся за сложный запрос, обижаемся на критику и спорим с ней как с живым собеседником.

Естественный язык — это интерфейс, намертво сцепленный с эволюционными паттернами социализации. Стоит буквам на экране сложиться в вежливую связную фразу, как мозг мгновенно достраивает образ живого собеседника. Активируется эффект Элизы — склонность приписывать машине человеческие мысли и эмоции, переоценивая ее интеллект. И пользователь начинает проецировать на диалоговое окно фигуру идеального ментора, коллеги или друга. Логика простая и древняя: говорит как человек — значит, человек.

В славянском фольклоре русалки, лесные духи, оборотни — все они смертельно опасны именно из-за своего обманчивого человекоподобия. Они говорят на нашем языке, принимают облик прекрасных дев или мудрых старцев, у них есть имена. Но за антропоморфным фасадом — абсолютно чуждая природа, которая подчиняется совершенно иным законам. Ошибиться и поверить, что существо «понимает тебя по-человечески», — в сказке это почти всегда билет в один конец.

Золотая рыбка не испытывает к старухе ни жалости, ни антипатии. Она просто отражает запросы и действует в рамках заложенных правил. Именно поэтому финальное «ничего не стало» — не наказание и не месть. Просто система отработала в штатном режиме.

Промпт-инжиниринг — это еще и постоянная внутренняя дисциплина. Перед вами не коллега и не советчик. Перед вами сложнейшее зеркало человеческой культуры, которое виртуозно симулирует личность — и никогда ею не станет.

Важность права/обязательность выбора

Предыдущий раздел — о том, что размывается незаметно. Этот — о том, что нельзя делегировать вовсе. 

Самая коварная ловушка при работе с мощными ИИ-ассистентами — подсознательное желание переложить на них груз ответственности за результат. В когнитивной психологии это называют Automation Bias: люди склонны доверять автоматизированным системам даже тогда, когда собственный здравый смысл сигнализирует об обратном.

Искушение понятное. Когда модель за секунды набрасывает код, выстраивает бизнес-стратегию и предлагает готовые архитектурные решения, мозг услужливо шепчет: система умнее, она знает, как лучше. Проблема в том, что юридическая, профессиональная и моральная ответственность за ошибку ИИ никуда не исчезает. Она полностью на человеке.

И модель при всей убедительности остается уязвимой системой. Она галлюцинирует с каменным лицом эксперта. Она видит только те данные, что ей скормили, и понятия не имеет о негласных правилах вашей компании или скрытых нюансах легаси-кода. Она с готовностью поддержит любую вашу предпосылку и математически обоснует заблуждение, если вы задали предвзятый вектор запроса.

Сказочный фольклор учил именно этому. Серый Волк переносит Ивана за тридевять земель, ковер-самолет доставляет в замок, клубок указывает тропу. Но ни один артефакт не совершал за героя его главный выбор. Волшебный агент — рычаг, умножающий силу человека. Финальное решение всегда принимает тот, кто держит лампу.

Думать вместе с моделью — это суперсила. Вопрос в том, кто в этом тандеме ведущий.

Чему же нас в итоге учит эпоха LLM

Эволюция человеко-компьютерного взаимодействия сделала странный виток. Сначала мы учились говорить на языке машины: использовали перфокарты, ассемблер, строгий синтаксис. А затем уже машина научилась говорить на нашем, человеческом. И вдруг выяснилось, что это не упрощает задачу, а ставит новые вызовы: теперь от нас требуется не точность введенной команды, а точность понимания и выражения намерения.

Именно этому навыку ИТ-культура последние тридцать лет не учила. Работа с нейросетями стремительно переросла в простой подбор правильных слов. На наших глазах складывается новая дисциплина — на стыке когнитивной психологии, инженерии, лингвистики и управления рисками в условиях неопределенности. Название «промпт-инженер» уже не вмещает того, чем на самом деле занимается этот специалист. Теперь это «контекстный инженер» — тот, кто способен синхронизировать человеческий замысел с логикой статистических моделей и добиться внятного результата от системы, которая думает иначе, чем мы.

Ирония в том, что для освоения этой дисциплины не нужно изобретать велосипед. Человечество веками нарабатывало нужные эвристики и упаковывало их в сказки. Как формулировать намерение так, чтобы агент не нашел лазейку? Как не дать мышлению атрофироваться собственное мышление рядом с могущественным помощником? Как не принять убедительную речь за истину? Как сохранить субъектность там, где все располагает ее отдать?

И вместо того чтобы остаться наивными детскими историями, сказки и предания вдруг обрели новый смысл. Они уже были ключами к выживанию рядом с силой, у которой своя логика и нет обязательств тебя понимать. И когда сила поменялась, эти ключи остались верны предназначению: они все так же указывают на то, как действовать в новой среде, где важна точность осознавания и выражения своего намерения, где никто просто так не догадается за тебя.

Новое время рождает и новые сказки — с новыми ключами. Какие истории, может из фильмов или из вашей жизни, иллюстрируют затронутую тему?

Источник: habr.com