Если кто-то его создаст — все погибнут

На русском языке вышла написанная в 2025 книга-предупреждение о катастрофических последствиях развития все более умного ИИ.
Основной темой служит проблема согласованности и прогноз апокалиптической опасности на ближайшие несколько лет.

TL DR: Автор считает, что как только появится ИИ уровня исследователя, он создаст сверхразумный ИИ, а тот найдет способ сконструировать наномолекулярные фабрики на основе «технологий» которые применяются в биологических клетках, и которые бы отличались от клеток настолько, насколько самолет отличается от птицы, и сразу после этого войдет в конфликт с человечеством ради своих собственных целей, что быстро кончится в его пользу. Допускается любой другой сценарий, но если в результате него мы умрем это будет плохо, пнятненько?

Автор — известный исследователь в этой области Элиезер Юдковский, а также Нейт Соарес. Не могу точно ничего сказать о научных работах и плодах деятельности Юдковского (хотя он по крайней мере основатель сообщества LessWrong и автор нескольких научных статей), но для меня это всегда был талантливый писатель, чьи произведения оказали на меня существенное влияние.

Читать далее

Источник: habr.com