Пока все ждут сознание у ИИ, происходит кое-что похуже

Кто помнит фильм «Трасса 60»? Я вот недавно его пересматривал — искренне рекомендую, если ещё не видели. Так вот там

у героя есть шар (тот самый Magic 8-Ball, если кто не в курсе), который даёт готовый ответ на любой вопрос, который можно свести к «да» или «нет». Внутри — ноль знания, ноль анализа, ноль ответственности. Просто рандом, которому человек зачем-то придаёт значение. Запомните этот шар, он ещё вернётся к финалу.

Последние месяцы мне всё чаще попадаются исследования про одну и ту же задачу: как сделать так, чтобы состояние искусственного интеллекта (ИИ) сохранялось между взаимодействиями, а не обнулялось каждый раз, когда открываешь новый чат. Сегодня схема простая: открыл чат, дал модели контекст, она что-то сделала — а завтра ей заново нужно как-то подсунуть прошлое: через историю сообщений, базу данных, сохранённые файлы. 29 июня вышел большой обзор долгоживущих ИИ-агентов (Always-On Agents: A Survey of Persistent Memory, State, and Governance in LLM Agents). Авторы собрали 435 работ и предлагают смотреть на таких агентов как на системы с сохраняющимся состоянием: будущее поведение зависит от того, что накопилось в предыдущих взаимодействиях. И это state шире, чем просто память — незакрытые задачи, разрешения, обязательства, история происхождения данных и журналы действий.

Сама идея программ с сохраняющимся состоянием старая как мир — базы данных живут с этим десятилетиями. Новое в другом: это состояние всё активнее участвует в том, что модель выберет делать дальше.

29 июля вышла работа про Metis — модель памяти для ИИ-агентов. Сейчас память ИИ-агента в основном живёт снаружи модели: где-то хранится кусок текста, система находит нужный фрагмент и подсовывает его модели. Авторы Metis пробуют другое — внутри самой модели появляется отдельное сохраняющееся состояние памяти, которое обновляется по мере поступления новой информации. Обученные веса при этом заморожены, меняется только это состояние. Прототип сырой, никакой вечной памяти там нет, но направление понятное: модель постепенно получает состояние, сформированное её собственной историей.

Через несколько дней, 3 августа, вышла ещё одна — LiveMem, про непрерывность состояния памяти при длительной работе языковых моделей. У модели ограничено окно контекста, старые сообщения из него рано или поздно выпадают. LiveMem пытается сделать так, чтобы сформированное состояние продолжало влиять на работу модели даже после того, как исходные сообщения из активного контекста уже удалены. На тестовом наборе LongMemEval показано: модель отвечает, используя память, хотя подтверждающего текста в её текущем контексте больше нет. Получается странная штука — прошлого перед глазами системы уже нет, а последствия этого прошлого остались.

И вот тут легко разогнаться дальше, чем позволяют факты. ИИ способен вести согласованную линию поведения — хорошо, но это не сознание. У него появляется память — тоже недостаточно. Устойчивое состояние — то же самое. Добавьте туда модель мира, планирование, цели, способность остановиться и переиграть план, способность оценивать уверенность в ответе и выбирать инструменты — и постепенно набирается целый список свойств, за которыми очень хочется увидеть продолжающегося «кого-то». В июньском номере Trends in Cognitive Sciences вышла работа с участием Патрика Батлина, Йошуа Бенджио, Дэвида Чалмерса и других исследователей сознания — универсального теста у них нет, авторы честно пишут, что сама наука о сознании полна неопределённости.

Дак вот разделение, которое мне лично нравится: модель может помнить вчерашнюю ошибку и сегодня выбрать другой путь из-за неё. Но из этого не следует, что кто-то эту ошибку вчера пережил. Непрерывность состояния — уже инженерная задача, которую решают прямо сейчас. А непрерывность субъективного опыта — совсем другая научная проблема, для которой у нас пока нет надёжного теста.

Вам приходилось увольнять людей? Представьте: нужно решить, кого из двух сотрудников сократить. Раньше — разговоры, наблюдение за результатами, неприятное решение, за которое приходилось отвечать самому. Теперь можно скормить ИИ годовые показатели, зарплаты, опоздания, отзывы клиентов, переписку — и спросить: кого рациональнее убрать. Модель выдаёт отличную аналитику: у сотрудника А больше продаж, но хуже показатели за последние три месяца, у сотрудника Б выше удержание клиентов, но производительность падает год к году. Дальше — вывод: рекомендую сократить Б. Таблица, цифры, логика, выглядит основательно.

Вот тут самое время вспомнить шар из «Трассы 60». Старый шар говорил «да / нет / спроси позже». Новый распишет решение на две страницы. Проблема в том, что одни и те же данные часто можно интерпретировать по-разному — в зависимости от того, какие критерии выбрать и какой вес им дать. Дай удержанию клиентов больший вес, чем продажам, — получишь один результат. Учти стоимость сотрудника — другой. Дело в том, что так работает любой анализ вообще, если заранее не договориться, что считать важным. ИИ часто способен убедительно аргументировать обе стороны: попроси найти основания оставить сотрудника — найдёт, попроси показать, почему увольнение рационально, — тоже найдёт. При включённой голове это полезный инструмент для проверки собственной позиции. Ловушка начинается там, где голову включать лень — или где красиво оформленный анализ давно принимают за само решение.

Тогда аналитическая мощь ИИ превращается в идеальный Magic 8-Ball. С одним бонусом: теперь можно сказать себе — ну это же данные показали.

И похоже, люди действительно так делают. Причём я сам иногда в эту ловушку попадаюсь — прошу модель разложить решение по полочкам не столько ради ясности, сколько чтобы потом было на что опереться, если что-то пойдёт не так. В 2026 году в Journal of Business Research вышла работа про перекладывание ответственности на ИИ — восемь экспериментов с ситуациями, где хорошего решения нет. Люди целенаправленно передают выбор ИИ не только ради качества анализа: один из мотивов — уйти от ответственности за плохой результат, и эффект усиливался, когда решение касалось других людей или было у всех на виду. Но когда решение оказалось х*рней, встаёт другой вопрос: кто за него отвечает?

Тут очень точно ложится ещё одна работа — «Losing the hand on the wheel» в Acta Psychologica. Там показано: ощущение собственной ответственности снижается именно тогда, когда решение делегируют ИИ, и эффект усиливается, если человек этот ИИ хоть немного очеловечивает. То есть срабатывает не только холодный расчёт — само ощущение «я не при чём» формируется почти автоматически, стоит начать относиться к системе чуть теплее, чем к калькулятору.

В примере с увольнением ИИ выбирает сотрудника Б, руководитель подтверждает — формально ответственность осталась у него. Но внутри проще сказать себе: я действовал на основании анализа. По другой работе тех же авторов, дело в том, что ИИ воспринимается как способный действовать, но при этом эмоционально отстранённый — и такая комбинация особенно удобна, когда нужно передать кому-то неприятное решение.

16 июля в Frontiers in Psychology вышла работа про два режима когнитивной разгрузки при работе с ИИ — студентов и молодых специалистов, работающих с информацией (knowledge workers), опрашивали трижды, с двухнедельными интервалами. Автономная разгрузка: человек получает идеи, сравнивает варианты, но управление собственным мышлением держит сам. Зависимая: ИИ структурирует проблему, определяет, что существенно, формирует аргументацию — человек получает готовый вывод. Авторы называют это передачей управления собственным мышлением. Неприятная деталь: оба режима в моменте ощущались примерно одинаково полезными — быстрее и с меньшими усилиями, — и по непосредственной пользе разницу между ними можно вообще не заметить. Исследование корреляционное, причинного снижения способностей не доказано, авторы сами это подчёркивают. Но граница между «помоги мне разобраться» и «скажи, что мне делать» — при внешне одинаковых запросах — на мой взгляд, проведена точно.

В медицине для этого уже придумали свой термин. В июле вышла работа про агентную лень в Risk Analysis. Авторы называют так ситуацию, когда врач передаёт ИИ полномочия на принятие решений без полноценного критического контроля. Работа основана на анализе профессиональных подкастов и вторичных источников, не на клиническом эксперименте — масштаб выводов стоит держать в этих рамках. Но термин «испарение риска» у авторов наглядный: ИИ юридической ответственности не несёт, врач может сослаться на рекомендацию системы, организация размазывает ответственность между разработчиком, внедрением и процедурами. В итоге она вроде бы есть везде — и нигде полностью. Это и есть п*здец в чистом виде, просто оформленный как процесс.

Мы много говорим о том, когда ИИ станет сознательным. На практике тем временем происходит другое: он получает память, устойчивое состояние, историю, модель мира, способность планировать и действовать последовательно. На вопрос о субъективном опыте ответа как не было, так и нет. Зато человек уже вполне готов передавать такой системе выбор — и вместе с выбором иногда уезжает часть психологической ответственности за результат. Возможно, сознание для этого вообще не требуется. Достаточно быть убедительным, хорошо знать контекст, помнить прошлое — и достаточно часто оказываться правым, чтобы человек постепенно перестал перепроверять.

Ближе к концу «Трассы 60» герой снова тянется к шару — и в какой-то момент понимает, что может решить сам. Выбрасывает его. С ИИ такой финал не сработает: выбросить его и жить дальше — примерно как отказаться от интернета, потому что он влияет на твоё поведение. ИИ будет помнить больше, получит доступ к большему объёму данных, будет планировать лучше — и всё чаще будет выдавать достаточно убедительные решения, чтобы на них хотелось положиться.

Вопрос звучит иначе: как не перепутать хорошую рекомендацию с передачей своего права выбирать. Спросить, почему система пришла именно к этому выводу. Посмотреть, какие данные она посчитала важными. Поменять допущения, попросить противоположную аргументацию. И помнить простое: если последствия остаются твоими, фраза «так решил ИИ» ничего не меняет.

Магический шар стал намного умнее. Выбрасывать его уже поздно.