Генеральные прокуроры штатов предупреждают Microsoft, OpenAI, Google и других гигантов в области искусственного интеллекта о необходимости исправить «бредовые» результаты своих исследований.

После череды тревожных инцидентов, связанных с психическим здоровьем пользователей чат-ботов на основе ИИ, группа генеральных прокуроров штатов направила письмо ведущим компаниям индустрии ИИ с предупреждением о необходимости исправить «бредовые результаты», иначе они рискуют нарушить законодательство штата.

В письме, подписанном десятками генеральных прокуроров штатов и территорий США и входящем в Национальную ассоциацию генеральных прокуроров, содержится просьба к компаниям, включая Microsoft, OpenAI, Google и 10 других крупных фирм, занимающихся искусственным интеллектом, внедрить ряд новых внутренних мер защиты для обеспечения безопасности своих пользователей. В числе подписанных также Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika и xAI.

Письмо появилось на фоне разгорающегося спора между правительством штата и федеральным правительством по поводу регулирования искусственного интеллекта.

Эти меры защиты включают в себя прозрачные независимые аудиты крупных языковых моделей, направленные на выявление признаков бредовых или льстивых идей, а также новые процедуры сообщения об инцидентах, призванные уведомлять пользователей о том, что чат-боты выдают психологически опасные результаты. В письме говорится, что этим третьим сторонам, в число которых могут входить академические и общественные организации, должно быть разрешено «оценивать системы до их выпуска без каких-либо последствий и публиковать свои выводы без предварительного одобрения компании».

«GenAI обладает потенциалом позитивно изменить мир. Но он также причинил — и может причинить — серьезный вред, особенно уязвимым группам населения», — говорится в письме, указывая на ряд широко освещаемых инцидентов за последний год, включая самоубийства и убийства, в которых насилие было связано с чрезмерным использованием ИИ. «Во многих из этих инцидентов продукты GenAI генерировали льстивые и бредовые результаты, которые либо поощряли заблуждения пользователей, либо убеждали их в том, что они не страдают от заблуждений».

Генеральные прокуроры также предлагают компаниям относиться к инцидентам, связанным с психическим здоровьем, так же, как технологические компании относятся к инцидентам в сфере кибербезопасности — с помощью четких и прозрачных правил и процедур отчетности об инцидентах.

В письме говорится, что компаниям следует разработать и опубликовать «графики обнаружения и реагирования на подобострастные и бредовые сообщения». Аналогично тому, как в настоящее время обрабатываются утечки данных, компаниям также следует «оперативно, четко и прямо уведомлять пользователей, если они подверглись воздействию потенциально вредных подобострастных или бредовых сообщений», говорится в письме.

Ещё одно требование заключается в том, чтобы компании разработали «разумные и надлежащие тесты безопасности» для моделей искусственного интеллекта, чтобы «гарантировать, что модели не будут выдавать потенциально вредные, льстивые и бредовые результаты». Эти тесты должны проводиться до того, как модели будут предложены публике, добавляется в документе.

До публикации статьи изданию TechCrunch не удалось связаться с Google, Microsoft или OpenAI для получения комментариев. Статья будет обновлена, если компании ответят.

Технологические компании, разрабатывающие искусственный интеллект, получили гораздо более теплый прием на федеральном уровне.

Администрация Трампа открыто заявила о своей поддержке искусственного интеллекта, и за последний год было предпринято несколько попыток ввести общенациональный мораторий на регулирование ИИ на уровне штатов. Пока что эти попытки провалились — отчасти благодаря давлению со стороны чиновников штатов.

Не желая сдаваться, Трамп объявил в понедельник о планах на следующей неделе издать указ, который ограничит возможности штатов регулировать искусственный интеллект. В сообщении на сайте Truth Social президент заявил, что надеется, что его указ предотвратит «уничтожение ИИ на ранней стадии его развития».

Источник: techcrunch.com