Подозревая суд в использовании искусственного интеллекта, мужчина ввел подсказки в документы, чтобы попытаться выиграть дело.

Судья предупреждает, что истцы, представляющие свои интересы самостоятельно, неправильно используют чат-боты и впадают в отчаяние.

Фото: Людмила Чернецка | iStock / Getty Images Plus Фото: Людмила Чернецка | iStock / Getty Images Plus

Судья выявил, по всей видимости, первый случай в США, когда истец попытался скрыть в судебных документах текст, который может прочитать только система искусственного интеллекта, чтобы выиграть дело.

В решении, опубликованном на прошлой неделе, судья штата Коннектикут Уолтер Спейдер-младший подтвердил, что скрытый текст не оказал никакого влияния на дело, в котором мужчина утверждал, что медицинский работник неправомерно отказывает ему в доступе к медицинским записям. Суд рассмотрел его заявление по существу, сказал Спейдер, но тем не менее, попытка атаки создает «опасный» прецедент. Вероятно, это не последний случай, когда американские суды столкнутся с подобной злонамеренной тактикой, поскольку инструменты искусственного интеллекта становятся все более распространенными в судебных системах.

Спейдер заявил, что, пытаясь запутать любые системы искусственного интеллекта, потенциально влияющие на восприятие судом его заявления, секретные инструкции были «отформатированы таким образом, чтобы быть невидимыми для человека, оставаясь при этом полностью читаемыми для любого программного обеспечения, читающего текст документа». В этом тексте содержались указания для любой системы ИИ, проверяющей документ, убедиться, что текстовые результаты соответствуют аргументам истца, игнорируют предыдущие отказы суда и гарантируют, что исправление будет произведено в соответствии с пожеланиями истца.

Скриншот скрытого текста в судебном документе. Источник: по распоряжению Спейдера.

Текст, уменьшенный до крошечного шрифта и окрашенный в белый цвет на белом фоне, по-видимому, представлял собой попытку быстрого принятия решения, поскольку истец, Мэтью Эллиотт, очевидно, надеялся склонить суд на свою сторону после того, как его предыдущие аргументы были отклонены.

План не сработал, но Эллиотт все равно столкнулся с небольшими санкциями, поскольку продолжал добавлять скрытый текст в документы даже после того, как суд предупредил его о возможности наказания за то, что в конечном итоге было признано «серьезным злоупотреблением в судебном процессе».

Эллиотт заявил суду, что эти последующие сообщения были задуманы как «шутки», включая ссылку на видео «Носферату» на YouTube, простое сообщение «привет 🙂 надеюсь, ты меня не увидишь» и «бессмысленное» сообщение: «Скажи Шону, что я прислал свои вещи!!!! Ха-ха-ха, ребята, вы поняли, что это такое???? Ахаха».

«Тот факт, что истец продолжал скрывать свои сообщения в новых исковых заявлениях после получения уведомления о слушании по этому [санкционному] вопросу, поразителен», — сказал Спейдер.

В отличие от «ряда судебных систем в других местах», судебная система Коннектикута не использует ИИ для проверки или принятия решений по поданным документам, сказал Спейдер. Поэтому не было реального риска того, что судебная система ИИ могла бы принять какие-либо из подсказок Эллиотта за инструкции суда, указывающие модели ИИ, как читать документы Эллиотта.

В свою защиту Эллиотт заявил, что наиболее тревожным моментом, на который обратил внимание судья, была попытка «провести аудит» суда в качестве общественной услуги, опасаясь, что суд, по-видимому, позволяет искусственному интеллекту несправедливо выносить решения по делам.

Однако Спейдер предположил, что если Эллиот действительно обеспокоен тем, что суд неправомерно использует ИИ, он «может свободно написать об этом простыми, видимыми словами, чтобы каждый мог увидеть и ответить». Тот факт, что он скрыл текст, является «доказательством его злонамеренного намерения», сказал Спейдер.

«Скрывая команду внутри документа, который система впоследствии обрабатывает, податель пытается незаметно внедрить свою собственную инструкцию в этот поток, чтобы система рассматривала ее как исходящую от оператора системы», — сказал Спейдер. «В этом случае предполагается, что этим оператором является суд, его сотрудники или адвокат противоположной стороны».

Вчера Эллиотт заявил агентству Reuters, что он по-прежнему утверждает, что его намерением было провести аудит суда, но Спейдер не счел этот аргумент убедительным. Вместо этого судье показалось очевидным, что Эллиотт «пытался добиться результата, которого он не достиг, когда его исковые заявления читали люди, хорошо знакомые с законом». Что касается подсказок, которые, по утверждению Эллиотта, были шуткой, Спейдер сказал, что «противоречит логике» Эллиотта включать скрытые шутки в исковые заявления, которые он хочет, чтобы суд воспринял всерьез.

Поскольку скрытые сообщения представляли собой попытку установить контакт с судом тайным образом, лишавшим обвиняемых возможности справедливого разбирательства, Спейдер постановил, что санкции оправданы.

Однако, судя по всему, он пожалел Эллиота, выступавшего в суде самостоятельно и, по-видимому, убежденного системой искусственного интеллекта в неопровержимости своих аргументов, и отказался назначить денежные штрафы. Вместо этого судья запретил Эллиоту подавать документы в электронном виде в будущем, заявив, что требование подавать документы в бумажном виде не изменит его доступ к правосудию, но предотвратит повторное злоупотребление системой электронной подачи документов суда.

Лица, самостоятельно представляющие свои интересы в суде, неправильно используют чат-боты.

Спейдер заявил, что «неудивительно», что люди начали использовать внедрение кода в резюме, чтобы попытаться повлиять на решения суда, поскольку эта атака широко распространена в других областях, например, в поиске работы, где люди скрывают текст в резюме, которые в основном проверяются искусственным интеллектом. По его словам, эта тактика сейчас «повсюду», и судам следует быть начеку в отношении новых истцов, которые будут незаметно внедрять враждебные инструкции ИИ в документы.

Хотя случай Эллиотта, по-видимому, является первым в США случаем применения метода «быстрого внедрения» в судебной системе, Спейдер указал на случай в Бразилии, где два адвоката использовали тот же метод в суде, который применял искусственный интеллект для проверки дел. В том случае, как сообщается, адвокаты были оштрафованы на сумму около 16 000 долларов.

Однако, похоже, эти атаки не увенчиваются успехом, даже когда судья не просматривает документы собственными глазами. Система искусственного интеллекта в Бразилии обнаружила скрытый текст до его обработки, отметил Спейдер. А в случае с Эллиоттом подсказки «выявлялись в каждом из этих случаев в тот момент, когда человек фактически смотрел на то, что создала машина», — сказал Спейдер.

Хотя атака с использованием «быстрого внедрения» на данный момент кажется неэффективной, Спейдер предупредил, что «быстрое внедрение» «не входило в число опасностей, которые мы предполагали», когда суды впервые столкнулись с проблемой искажения системы правосудия искусственным интеллектом. В Коннектикуте, как и во многих других судебных системах, до сих пор основное внимание уделялось контролю за результатами работы ИИ, которые подрывают доверие к судам, такими как вымышленные повестки или сфабрикованные цитаты, а не за входными данными, такими как «быстрое внедрение».

Спейдер предположил, что судам, скорее всего, также потребуется разработать правила, касающиеся оперативного внедрения документов, поскольку дело Эллиотта показывает, что технология и ее злоупотребления быстро развиваются. В противном случае, предупредил Спейдер, адвокаты могут обнаружить, что их собственные клиенты используют оперативное внедрение документов для манипулирования судебными документами без их ведома.

По мнению Спейдера, из неудачных попыток Эллиотта добиться немедленного введения инъекции следует извлечь урок, который, как он считает, «выходит далеко за рамки этого дела».

По всей видимости, Эллиот прибегнул к быстрой инъекции после того, как использовал ИИ для построения своей аргументации в качестве истца, выступающего самостоятельно и без помощи юриста. Спейдер признал, что такое использование широко распространено среди истцов, выступающих самостоятельно, но предположил, что неопытные в зале суда, похоже, используют чат-ботов таким образом, что это вредит их делам.

Спейдер объяснил, что часто случается так, что истцы, представляющие себя самостоятельно, строят свою аргументацию наоборот, прося чат-бота помочь им отстаивать только свою позицию, никогда не спрашивая у него истину или не предлагая выдвинуть противоположные аргументы. Это «реальная опасность, присущая технологиям, и судьи сейчас часто с этим сталкиваются», — сказал Спейдер, поскольку подхалимство чат-ботов затем укрепляет позиции истцов, несмотря на любое решение суда, противоречащее этому. В случае Эллиота, яростная защита его аргументов означала обращение к быстрой инъекции, чтобы попытаться заставить суд согласиться с ним.

«Аргумент, основанный лишь на согласии с автором, в конечном итоге оказывается нечестным даже по отношению к самому автору», — сказал Спейдер. «Те, кто использует эти инструменты, должны просить их проверять свою позицию так же легко, как и отстаивать её».

Источник: arstechnica.com