«Не выдумывай!» — и почему эта фраза почти не работает…

«Не выдумывай!» — и почему эта фраза почти не работает

Классическая попытка бороться с галлюцинациями: дописать в конце промпта "только проверенные факты, не придумывай". И это… почти не работает. Модель не хранит где-то отдельный переключатель "режим выдумывания" — она не осознаёт разницу между "я точно знаю" и "я генерирую правдоподобное продолжение". Просьба "не выдумывай" адресована процессу, которого модель не может просто взять и выключить по команде.

Как работают команды:

✳️ "Не выдумывай" / "не галлюцинируй" — слишком абстрактно, модель не имеет чёткого критерия, что под этим понимается. Такая инструкция может немного изменить поведение, но не обеспечивает надёжного контроля фактов.
✳️ "Будь точным" / "только факты" — могут повысить вероятность осторожного ответа или отказа от догадки. Но они не создают у модели нового источника знаний и не гарантируют, что ответ действительно будет точным.
✳️"Ты уверен?" — вопрос часто запускает не независимую проверку, а ещё одну генерацию, которая может сохранить исходную ошибку.

Что работает лучше (не идеально, но заметно):

✅ "Если не уверен — скажи, что не уверен, вместо того чтобы гадать" — явно разрешает модели признать незнание, вместо того чтобы по умолчанию выдавать самый правдоподобный ответ
✅ "Опирайся только на текст, который я предоставил, не добавляй факты из общих знаний" — работает, когда у тебя есть источник (документ, статья) — сильно сужает пространство, откуда модель может "додумывать"
✅ "Если это не входит в предоставленные данные — явно укажи это" — заставляет модель разделять "нашёл в тексте" и "предполагаю"
✅ "Перечисли, в каких частях ответа ты менее уверен" — не устраняет галлюцинации, но помогает их обнаружить постфактум

Единственный по-настоящему надёжный способ — не про формулировку промпта вообще. Это подключение поиска в интернете или предоставление источника, на который модель может опираться, вместо того чтобы просить её быть честнее с самой собой. Фраза в промпте снижает вероятность, но не гарантирует отсутствие ошибки — для фактов, цифр, цитат всё равно нужна отдельная проверка.

🟣Теги: #промптинг #лайфхаки_ии