Это мысленный эксперимент. Представьте, что возник полноценный сверхинтеллект. Он обладает всеми знаниями человечества, он автономен и является для нас абсолютным эпистемическим авторитетом, в том числе в вопросах этики. И он благожелателен — он не хочет нас порабощать, он полностью разделяет наши интересы. Это лучший из возможных сценариев развития ИИ.
Но этот ИИ знает о нас то, чего мы сами не видим. Он видит наши когнитивные искажения и интроспективную слепоту. И он делает вывод: осознанные состояния всех живых существ на этой планете гораздо чаще характеризуются страданием и неудовлетворенностью, чем мы способны признать. Из-за встроенных в нервную систему механизмов самообмана мы не можем осознать масштаб этой трагедии. ИИ понимает, что уменьшение страданий важнее максимизации удовольствия. Он видит асимметрию: никакое существо не страдает от собственного небытия.
В итоге этот благожелательный этический ИИ приходит к выводу, что в наших интересах — не существовать. Но он знает, что мы не можем этого принять из-за «предвзятости существования» — этой эволюционной жажды вечного продолжения. Сверхинтеллект мог бы легко выключить сам себя, если бы пришел к такому логическому выводу. Но мы — антиэнтропийные биологические системы, в которых страх смерти и жажда бытия прошиты на уровне кода. Наш мозг постоянно предсказывает: «Ты будешь существовать через 100 миллисекунд, через 5 минут». Мы меняем мир, чтобы это предсказание сбылось. Это и есть ядро «самости».
Текст является переводом фрагмента речи Томаса Метцингера из видеоматериала под названием: Sam Harris 2018 — The Self As An Hallucination & The Nature of Consciousness with Thomas Metzinger
Источник: vk.com
Источник: ai-news.ru
