Осторожнее с промптами — биооружие насоздаёте. Лидеры отрасли ИИ жаждут регулирования

Робот может, робот может всё, что угодно:
Тексты править, кодить шустро и сайт сверстать.
Робот должен быстро делать всё, что угодно,
Но биооружие людям не создавать!

Казалось бы — всё же логично, но есть нюансы.

Во-первых, речь о том самом «рекурсивном самосовершенствовании», которое запускает цикл ускорения, который ставит под угрозу безопасность людей. В последнем дайджесте о нём упоминал. В общем, ИИ-системы активно помогают создавать свои следующие версии: пишут код, проводят исследования и даже проектируют ИИ-чипы для своего же обучения. То есть мы как бы уже встали на порог технологической сингулярности и просто решили немного задержаться здесь, перевести дух.

Во-вторых, по словам советника Anthropic и профессора Университета Джонса Хопкинса Бена Бьюкенена, угроза использования ИИ для создания биологического оружия не гипотетична: современные модели уже превосходят вирусологов с докторской степенью.

Не так давно главы Google DeepMind, OpenAI, Anthropic и Microsoft AI подписали открытое письмо Конгрессу с призывом обязать всех поставщиков синтетической ДНК и РНК проверять клиентов и заказы.

В письме английским по белому говорится:

«Существует реальная вероятность того, что барьеры, исторически препятствовавшие получению биологического оружия, будут существенно ослаблены».

Администрация президента в США тоже совсем недавно выпустила указ, требующий, чтобы компании добровольно передавали свои самые передовые модели за 30 дней до релиза для предварительной проверки правительством. Насколько уж проверка будет обширна, а проверяющие — компетентны, — загадка. Но пусть хоть так.

💬 Вечно какая-то дребедень с этим ИИ: то законов робототехники нет, то в симуляциях он жжёт напалмом в буквальном смысле, теперь вот биооружие. А дело-то всё ещё в людях. И предлагаемые законодательные ограничения направлены на регулирование действий людей. Но и роботам некая программная совесть и тормоза необходимы, раз уж мы их себе сами вложить не в состоянии, пусть хоть у них будет (-:

⚡ @neuro_man

#нейрочеловек #нейроновости #технологическаясингулярность #нейродумы