Возможно, генеративный искусственный интеллект и сдал экзамен на получение адвокатской лицензии на отлично, но магистр права по-прежнему не может мыслить как юрист.
Когда в 2022 году начался бум генеративного искусственного интеллекта, Руди Миллер и ее однокурсники по юридической школе внезапно охватила тревога. «Перед выпуском обсуждалось, как будет выглядеть рынок труда для нас, если ИИ получит широкое распространение», — вспоминает она.
Поэтому, когда пришло время выбирать специализацию, Миллер — теперь младший юрист в юридической фирме Orrick — решила стать судебным адвокатом, представляющим интересы клиентов в суде. Она надеялась, что зал суда станет последней сценой, где будет участвовать человек. «Судьи пока не разрешают роботам с поддержкой ChatGPT выступать в суде», — говорит она.
Эта статья является частью серии публикаций MIT Technology Review под названием «Коррекция ажиотажа» , которая призвана переосмыслить представления об искусственном интеллекте, его возможностях и направлениях нашего дальнейшего развития.
У нее были основания для беспокойства. Казалось, что для юристов надвигается апокалипсис рабочих мест, вызванный искусственным интеллектом. В марте 2023 года исследователи сообщили, что GPT-4 с легкостью сдал Единый экзамен на получение адвокатской лицензии. В том же месяце в отраслевом отчете прогнозировалось, что 44% юридической работы могут быть автоматизированы. Индустрия юридических технологий переживает бум, поскольку юридические фирмы начали внедрять генеративный ИИ для обработки огромных массивов документов и составления контрактов — работы, обычно выполняемой младшими юристами. В прошлом месяце юридическая фирма Clifford Chance сократила 10% своего персонала в Лондоне, сославшись на расширение использования ИИ в качестве причины.
Но, несмотря на весь ажиотаж, магистерские программы по праву все еще далеки от того, чтобы мыслить как юристы — не говоря уже о том, чтобы заменить их. Модели продолжают искажать ссылки на судебные дела, с трудом ориентируются в серых зонах права и рассуждают над новыми вопросами, а также спотыкаются при попытке синтезировать информацию, разбросанную по законам, нормативным актам и судебным делам. И есть более глубокие институциональные причины полагать, что моделям будет трудно вытеснить юристов с рынка труда. Хотя ИИ меняет рутинную работу в профессии, конец юристов, возможно, наступит нескоро.
Большой эксперимент
Юридическая отрасль долгое время характеризовалась долгими рабочими часами и изнурительной нагрузкой, поэтому перспектива сверхчеловеческой эффективности весьма привлекательна. Юридические фирмы экспериментируют с универсальными инструментами, такими как ChatGPT и Microsoft Copilot, а также со специализированными юридическими инструментами, такими как Harvey и CoCounsel от Thomson Reuters, причем некоторые из них создают собственные внутренние инструменты на основе передовых моделей. Они запускают программы обучения искусственному интеллекту и позволяют юристам выставлять счета за сотни часов работы над экспериментами с ИИ. По данным Американской ассоциации юристов, к 2024 году 47,8% юристов в юридических фирмах, в которых работает 500 и более юристов, использовали ИИ.
Связанная статья
Однако юристы утверждают, что обладатели степени магистра права еще далеки от того, чтобы обладать достаточными способностями для их замены. Лукас Хейл, младший юрист в McDermott Will & Schulte, активно использует ИИ для решения многих рутинных задач. Он применяет Relativity для анализа длинных документов и Microsoft Copilot для составления юридических ссылок. Но когда он обращается к ChatGPT со сложным юридическим вопросом, чат-бот начинает пускать в ход галлюцинации, отвлекаться от темы или ничего не может ответить.
«В случаях, когда перед судом стоит очень узкий вопрос или вопрос, впервые рассматриваемый в суде, — говорит он, имея в виду новый юридический вопрос, который суд никогда ранее не решал, — этот инструмент не способен на такой образ мышления».
Значительная часть работы Лукаса связана с творческим применением права к новым фактическим обстоятельствам дела. «Сейчас я не думаю, что большую часть работы, которую выполняют юристы-практики, по крайней мере, ту, которую выполняю я, можно передать на аутсорсинг компании, занимающейся искусственным интеллектом», — говорит он.
Эллисон Дуглис, старший юрист в Jenner & Block, использует степень магистра права (LLM) для начала своих юридических исследований. Но эти инструменты помогают ей лишь до определённого предела. «Когда дело доходит до реального развития аргументации в качестве судебного юриста, я думаю, они ей не подходят», — говорит она. Она наблюдала, как модели «придумывают» ссылки на судебные дела и неуклюже разбираются в неоднозначных областях права.
«Сейчас я бы предпочла работать с младшим специалистом, а не с инструментом искусственного интеллекта», — говорит она. «Если они не станут невероятно хорошими в ближайшее время, я не думаю, что это изменится».
За баром
С момента триумфа ChatGPT на экзамене на получение адвокатской лицензии юридическая индустрия, казалось, была готова к захвату искусственным интеллектом. Но сдача стандартизированного теста — это не то же самое, что практика в юриспруденции. Экзамен проверяет, могут ли люди запоминать юридические правила и применять их к гипотетическим ситуациям, а не умеют ли они принимать стратегические решения в сложных реалиях или строить аргументы на неизведанной юридической территории. И модели можно обучить для успешного прохождения контрольных тестов, не улучшив при этом их способность к рассуждению.
Спросите ИИ. Почему это важно для вас? БЕТА-ВЕРСИЯ. Вот почему, по мнению ИИ, эта история может быть важна для вас. Это бета-версия, и ИИ может выдавать галлюцинации — это может быть странно . Отрасль, которая меня интересует, — это… Узнайте больше о том, как мы используем ИИ.
Однако новые критерии оценки призваны лучше измерить способность моделей выполнять юридическую работу в реальном мире. В ноябре компания ScaleAI опубликовала критерий оценки профессионального мышления (Professional Reasoning Benchmark), в котором ведущие магистерские программы по праву оценивались на основе юридических и финансовых задач, разработанных профессионалами в этой области. Исследование показало, что у моделей есть существенные недостатки в плане надежности для профессионального применения: лучшая модель набрала всего 37% баллов по самым сложным юридическим задачам, что означает, что она выполнила чуть более трети возможных критериев оценки. Модели часто делали неточные юридические решения, а если и приходили к правильным выводам, то делали это посредством неполных или неясных процессов рассуждения.
«На самом деле, инструментов, способных заменить юриста, не существует», — говорит Афра Фейза Акюрек, ведущий автор статьи. «Хотя многие считают, что магистры права хорошо разбираются в юриспруденции, их знания всё ещё отстают».
В статье используются другие критерии оценки производительности моделей при выполнении экономически значимой работы. Индекс производительности ИИ, опубликованный компанией Mercor в сентябре и обновленный в декабре, показал, что модели имеют «существенные ограничения» при выполнении юридической работы. Модель с наилучшими показателями набрала 77,9% в юридических задачах, что означает, что она удовлетворила примерно четыре из пяти критериев оценки. Модель с таким результатом может приносить существенную экономическую выгоду в некоторых отраслях, но в областях, где ошибки обходятся дорого, она может быть совершенно бесполезна, отмечалось в ранней версии исследования.
Профессиональные критерии оценки — это большой шаг вперед в оценке реальных навыков юристов, получивших степень магистра права, но они все еще могут не отражать того, чем юристы занимаются на самом деле. «Эти вопросы, хотя и более сложные, чем в прошлых критериях, все еще не в полной мере отражают те субъективные, чрезвычайно сложные вопросы, с которыми юристы сталкиваются в реальной жизни», — говорит Джон Чой, профессор права в Юридической школе Вашингтонского университета, соавтор исследования о юридических критериях оценки, проведенного в 2023 году.
В отличие от математики или программирования, в которых магистерские программы достигли значительных успехов, обучение юридическому мышлению может представлять собой сложную задачу для моделей. По словам Чоя, юриспруденция имеет дело со сложными реальными проблемами, полными двусмысленности и субъективности, которые часто не имеют правильного ответа. Ситуацию усугубляет то, что большая часть юридической работы не документируется таким образом, чтобы её можно было использовать для обучения моделей, говорит он. А если и документируется, то он может занимать сотни страниц, разбросанных по законам, нормативным актам и судебным делам, существующим в сложной иерархической структуре.
Однако более фундаментальным ограничением может быть то, что магистры права просто не обучены мыслить как юристы. «Модели рассуждений по-прежнему не в полной мере рассуждают о проблемах так, как это делаем мы, люди», — говорит Джулиан Ньярко, профессор права в Стэнфордской школе права. По его словам, этим моделям может не хватать ментальной модели мира — способности моделировать сценарий и предсказывать, что произойдет, — а именно эта способность может лежать в основе сложных юридических рассуждений. Вполне возможно, что нынешняя парадигма обучения на основе предсказания следующего слова в юридических текстах позволяет нам достичь лишь ограниченных результатов.
Рабочие места остаются
Несмотря на первые признаки того, что ИИ начинает влиять на работников начального уровня, статистика рынка труда пока не показывает, что юристы теряют работу. По данным Национальной ассоциации по трудоустройству юристов, в 2024 году 93,4% выпускников юридических факультетов были трудоустроены в течение 10 месяцев после окончания учебы — это самый высокий показатель за всю историю наблюдений. Число выпускников, работающих в юридических фирмах, выросло на 13% с 2023 по 2024 год.
Связанная статья
Пока что юридические фирмы не спешат сокращать штат. «На данном этапе мы не сокращаем численность персонала», — сказала Эми Росс, руководитель отдела по подбору юристов в юридической фирме Ropes & Gray.
Даже в перспективе последствия могут быть постепенными. «Я ожидаю некоторого влияния на рынок труда в юридической профессии, но не существенного», — говорит Мерт Демирер, экономист из Массачусетского технологического института. «Искусственный интеллект будет очень полезен с точки зрения поиска и обобщения информации», — говорит он, но для сложных юридических задач «низкая толерантность к риску в юриспруденции, плюс нынешние возможности ИИ, сделают автоматизацию этого процесса на данном этапе менее возможной». Возможности могут развиваться со временем, но это большая неизвестность.
Дело не только в том, что сами модели не готовы заменить младших юристов. Институциональные барьеры также могут влиять на то, как будет использоваться ИИ. Повышение производительности труда сокращает количество оплачиваемых часов, бросая вызов доминирующей бизнес-модели юридических фирм. Для юристов становится серьезной угрозой ответственность, а клиенты по-прежнему могут предпочитать, чтобы дело решал человек. Нормативно-правовые нормы также могут ограничивать использование юристами этих технологий.
Тем не менее, по мере того как ИИ берет на себя часть работы младших юристов, юридическим фирмам, возможно, придется переосмыслить свою систему обучения. «Когда объем работы для младших юристов сокращается, необходимо использовать более формальный способ обучения, чем просто надеяться на успех стажировки», — говорит Итан Моллик, профессор менеджмента в Уортонской школе бизнеса Пенсильванского университета.
Зак Кугер, младший юрист в компании McDermott Will & Schulte, использует ChatGPT для разбора гор контрактов, которые раньше он продирался сквозь них вручную. Он не может представить себе, как бы он вернулся к этой работе, но задается вопросом, чего ему не хватает.
«Меня беспокоит, что я не получаю той же репутации, что и старшие юристы», — говорит он, имея в виду повторяющуюся подготовку, которая долгое время определяла начальный этап карьеры юристов. «С другой стороны, очень приятно иметь возможность задать вопросы полуспециалисту, который не является очень занятым партнером».
Хотя апокалипсис в сфере занятости, связанный с искусственным интеллектом, кажется далёким, неопределённость не покидает его. В последнее время Кугер засиживается допоздна, размышляя, не окажется ли он в числе последних выпускников крупных юридических фирм: «Возможно, я окажусь последним самолётом, вылетающим оттуда».
Источник: www.technologyreview.com
