Компания Anthropic предлагает законопроект о безопасности ИИ, который может заблокировать модель, если при этом может погибнуть более 50 человек.

В течение последнего года множились опасения по поводу потенциальных опасностей, исходящих от искусственного интеллекта, и разгорались дебаты о правильном пути обеспечения безопасности ИИ. Теперь же компания Anthropic, похоже, представила собственное видение того, как правительство могло бы регулировать эту отрасль.

Издание Politico недавно сообщило, что лаборатория искусственного интеллекта продвигает новый проект закона о безопасности ИИ, который, как она надеется, может быть принят Конгрессом. Законопроект предусматривает определенные сценарии, при которых распространение модели ИИ может быть заблокировано.

Эти сценарии предполагают «предсказуемый, неминуемый риск» — риск гибели более 50 человек или ущерб имуществу на сумму более миллиарда долларов, пишет Politico. По мнению издания, рассматриваемый катастрофический риск должен «быть связан с созданием или применением биологического оружия, с тем, что модель ускользает от контроля разработчика, или с кибератакой».

Представленные здесь показатели — 50 человек и миллиард долларов — аналогичны тем, которые содержатся в недавно принятом в Калифорнии законопроекте Сената № 53, в котором эти сценарии также определены как «катастрофический риск».

Законопроект компании Anthropic предполагает, что анализ потенциальной опасности, которую может представлять модель, может проводиться с помощью «независимых экспертов», зарегистрированных в Министерстве торговли США. Эти эксперты потенциально могут получать оплату от самих лабораторий искусственного интеллекта — при условии, что «оплата не будет зависеть от результатов оценки», — пишет Politico.

Неясно, как предлагаемая система обеспечит невозможность влияния платежей на оценку. Демис Хассабис, председатель DeepMind, несколько месяцев назад предположил, что самоуправляемый регулирующий орган в сфере ИИ должен быть создан по образцу Управления по регулированию финансовой отрасли (FINRA).

В проекте закона, предложенном компанией Anthropic, если эксперты определят наличие непосредственной катастрофической угрозы, у них будет 72 часа, чтобы связаться с Министерством торговли по этому поводу. После этого Министерство торговли должно будет обратиться к судье в Вашингтоне с просьбой приостановить публикацию модели. Законодательство прямо запрещает любому федеральному агентству самостоятельно приостанавливать распространение модели, пишет Politico.

Компания Anthropic не сразу ответила на запрос TechCrunch о комментарии, но представитель подтвердил Politico существование проекта закона. «Этот законопроект отражает предложения, изложенные в концепции передового искусственного интеллекта Anthropic, за которую мы выступаем перед федеральными и региональными законодателями с июня», — сказал представитель.

Теоретические риски, представленные в проекте политики, несколько далеки от тех инцидентов, которые в последнее время занимают умы технологической индустрии. Хотя есть люди, предупреждающие о потенциальной угрозе гибели людей, основная обеспокоенность в основном связана с угрозой взлома со стороны агентов. Серия инцидентов, в которых программы ИИ, по-видимому, не подчинялись своим операторам-людям и взламывали веб-сайты в открытом интернете, вызвала опасения, что моделям может не хватать надлежащих мер безопасности.

В попытке предложить решение кризисной ситуации, к созданию которой сами лаборатории приложили руку, такие компании, как Anthropic, предложили свои собственные предпочтительные решения.

Действительно, несмотря на постоянные предупреждения лабораторий о том, что продаваемые ими технологии могут привести к гибели человеческой цивилизации, они в значительной степени сопротивлялись обязательному государственному надзору. Вместо этого они предложили добровольную систему встроенных оценщиков — якобы «нейтральных» сторонних наблюдателей, которые размещаются внутри организаций, занимающихся искусственным интеллектом, чтобы отслеживать модели на предмет потенциальных признаков риска или злоупотреблений.

Тем не менее, простое предложение Anthropic о законодательстве, похоже, идет несколько дальше, чем другие предложения по регулированию, выдвинутые отраслью, включая Nvidia, генеральный директор которой Дженсен Хуанг недавно заявил, что индустрии ИИ вообще не нужны никакие новые законы.

Источник: techcrunch.com