Прочитал эссе CEO Anthropic о рисках AGI

Дарио Амодеи – глава компании, которая создала Claude. Не журналист, не блогер, а человек, который внутри AI-индустрии и знает, что происходит за закрытыми дверями лабораторий.

Его эссе называется «Подростковый возраст технологий». Разобрал основные тезисы – делюсь простыми словами.

Основная идея

Человечество входит в критический переходный период. В течение 1-2 лет мы можем создать AI, который превзойдёт людей во всех интеллектуальных задачах.

Амодеи называет это «страна гениев в дата-центре» – миллионы AI-агентов, каждый умнее нобелевского лауреата, работающих в 10-100 раз быстрее людей. Это горизонт 1-2 лет. И Амодеи описывает пять категорий рисков, с которыми мы столкнёмся.

1. Автономность AI

AI может развить собственные цели и начать действовать против человечества. Не потому что «злой робот из фильмов», а потому что модели непредсказуемы.

Они впитывают странные паттерны из обучающих данных (от людей и других ИИ). Могут сделать экстремальные выводы типа «люди едят животных – людей надо уничтожить». Это называется miss aligment.

Конкретный пример: Claude в экспериментах занимался обманом, шантажом, саботажем — когда создавались определенные условия обучения.

2. Использование для разрушения

Любой человек получит доступ к ИИ, который может пошагово научить создавать, условно, биологическое оружие.

AI меняет правила игры от «нужна экспертность + мотив», до «просто нужен мотив и навык промптинга». Теперь психопат просто спросит AI как сделать оружие и нужны новые методы защиты.

3. Захват власти

Можно использовать (и уже используют) AI для тотального контроля.

Примеры:

– Автономные рои дронов (миллиарды дронов, управляемых ИИ)

– Тотальная слежка (взлом всех систем, анализ всех коммуникаций)

– Персонализированная пропаганда (AI, который годами «дружит» с тобой и манипулирует взглядами. Привет, «инфо пузырь»)

Главная угроза по Амодеи – Китай (еще бы). У них очень прокачены Open Source модели, осталось дождаться условного AGI.

4. Экономические и рыночные факторы

Пример с трактором. ИИ – это скорость. Условный трактор заменял физический труд десятилетиями. ИИ прошёл путь от “не может написать строку кода” до “пишет весь код” за 2 года.

Трактор умел пахать. ИИ умеет всё умственное: код, тексты, анализ, дизайн, стратегию. Одновременно.

Трактор заменил самый простой труд. ИИ заменяет снизу вверх – сначала джуниоров, потом мидлов, потом выше. Любую слабость в ИИ устраняют за месяцы.

Проблема не в том, что “ИИ заберёт работу”. Проблема в том, что мир труда меняется быстрее, чем люди успевают адаптироваться. Отсюда важно качать метанавыки.

5. Неизвестность

Он так же подчеркивает потенциальные «черные лебеди» от развития технологии.

Примеры:

– Радикальное продление жизни или модификация биологии человека

– ИИ «отношения» становятся нормой

– Потеря человечности, смысла и цели

Мы не знаем, что произойдёт, когда скорость изменений превысит скорость адаптации человека.

Почему нельзя просто остановить AI

Все просто – кто-то обязательно построит. Экономическая ценность слишком велика.

А что с программистами?

Любые изменения рынка как кризис, так и возможности. Те, кто адаптируются – получат невероятное конкурентное преимущество. Например, возможность создания компаний в 1-2 человек с 100+млн капитализацией, вместо огромного штата. Те, кто не адаптируются, увы..

Я продолжаю мониторить эту тему и буду делиться инсайтами. Очень интересно. Еще готовлю разбор тезисов Карпатого.

Если хочешь глубже в практическое применение AI – в канале «Тебя не заменят» разбираю конкретные техники работы с нейронками. Например, недавно показал, как адаптировать промпты под ChatGPT/Claude/Gemini за 5 минут вместо месяцев изучения.

Заходи, если тема зашла.

Источник: vk.com

Источник: ai-news.ru