Искусственный интеллект включил в свою книгу «синтетические цитаты». Но автор хочет продолжать их использовать.

Стивен Розенбаум объясняет, как неточные цитаты попали в его книгу «Будущее истины».

«Я никогда не оказывался в месте, где бы мне казалось, что используемые мной технологии одновременно и опьяняют, и опасны». Фото: Aurich Lawson | Getty Images

Журналист и писатель Стивен Розенбаум имеет больше оснований, чем большинство, не доверять искусственному интеллекту.

Его новая книга «Будущее истины: как ИИ меняет реальность» посвящена тому, «как истина искажается, размывается и синтезируется» под «давлением быстро развивающегося, ориентированного на прибыль ИИ». Однако расследование New York Times на этой неделе выявило, как теперь признает сам Розенбаум, «несколько неправильно приписанных или синтезированных цитат», связанных с использованием им инструментов ИИ при работе над книгой.

Среди этих цитат есть одна, которую, по словам журналистки, пишущей о технологиях, Кары Суишер, она «никогда не произносила», и другая, которую, по словам профессора Северо-восточного университета Лизы Фельдман Барретт, «не фигурирует в [моей] книге, и они также неверны». Сейчас Розенбаум работает с редакторами над тем, что он называет полным «аудитом цитирования», который исправит ошибки в будущих изданиях.

В интервью Ars, данном после разразившегося скандала, Розенбаум заявил, что «извлек урок» и в будущем будет «гораздо подозрительнее» и «с меньшей вероятностью будет доверять» результатам работы ИИ.

Но он также не может оторваться от инструментов. Что довольно удивительно, Розенбаум не заинтересован в возвращении к исследовательскому процессу без использования ИИ, который он применял при написании предыдущих книг.

«Идея взять перерыв на X лет [от ИИ], пока он сам наладится, и вернуться, например, к Microsoft Word… это просто не в моем характере», — сказал он Ars. «[ИИ] — это волшебство. Потому что он связывает, объединяет идеи и открывает пути для размышлений о вещах, которые вы сами бы не придумали».

В этом есть и другая магия: подобно Единому Кольцу Дж. Р. Р. Толкина, искусственный интеллект убеждает многих из тех, кто им пользуется, в том, что они могут должным образом контролировать его силу. Но так ли это?

Проскользнув сквозь щели

Розенбаум рассказал мне, что в процессе написания книги он использовал инструменты искусственного интеллекта, «чтобы выявлять идеи, находить статьи, обобщать темы, определять людей или работы, которые могли бы меня заинтересовать». Он проводит четкую грань между такого рода исследованиями и «фактической отчетностью, структурой повествования, интервью, аргументами и выводами в книге», которые, по его словам, «полностью мои… Никогда не было такого момента, когда книгу писал искусственный интеллект».

Помимо глав, основанных на расшифрованных интервью, которые, по словам Розенбаума, он проводил лично, книга «Будущее истины» также включает в себя главы, основанные на исследованиях, в которых, как сказал Розенбаум: «Мы собираем факты, а затем сплетаем их воедино в повествование». По его словам, для сбора информации активно использовались такие инструменты, как ChatGPT от OpenAI и Claude от Anthropic, а любые найденные с помощью этих инструментов сведения помечались в его примечаниях предупреждением «это получено с помощью ИИ».

Это удивительно креативно, хитро и необычно во всех отношениях… а потом это предаёт тебя ужасным образом. Стивен Розенбаум

По словам Розенбаума, эти помеченные сгенерированными ИИ заметки затем были переданы фактчекеру и двум корректорам, предоставленным издательством. Из 285 внешних ссылок в книге шесть были признаны газетой Times проблематичными, включая три так называемые «синтетические цитаты», не имеющие очевидного источника. (В ходе дальнейшего анализа книги могут появиться и другие примеры. Стоит отметить, что большинство авторов, пишущих книги, умудряются не включать в них ни одной выдуманной цитаты.)

«Я думаю, мы провели эту [двойную проверку] невероятно эффективно, но не на сто процентов», — сказал Розенбаум изданию Ars. «Мы делаем свою работу, делаем все, что в наших силах. Мы смотрим, все выглядит правильно. Мы перепроверяем, и тут же допускаем ошибку».

Однако этот существенный сбой подчеркивает, насколько традиционный процесс проверки фактов может быть плохо приспособлен для работы с исследованиями, проводимыми с помощью ИИ. В прошлом специалист по проверке фактов мог быть достаточно уверен, что любой автор, цитирующий упомянутые письменные работы, просто скопировал эти цитаты напрямую. Конечно, эти цитаты нужно было проверять, но тот факт, что их так легко проверить, делает их менее подозрительными. Однако если на каком-либо этапе процесса задействованы инструменты ИИ, это предположение отпадает, и необходим дополнительный уровень скептицизма: нужно ли проверять правильность копирования цитат или их существование вообще.

Широкое внедрение инструментов искусственного интеллекта среди писателей всех направлений происходит в то время, когда испытывающие финансовые трудности редакции и издательства все чаще сокращают штат корректоров и специалистов по проверке фактов. Мы видели, как ошибки, сгенерированные ИИ, могут попасть в опубликованную книгу, даже при наличии проверки фактов. Риск использования таких инструментов только возрастает для многих книг, которые вообще не проходят проверку фактов перед публикацией.

Розенбаум, со своей стороны, согласился с тем, что « издателям понадобятся новые рабочие процессы проверки, разработанные специально для исследований эпохи ИИ. Вероятно, это будет включать обязательное отслеживание источников цитат, улучшенное отслеживание происхождения, более четкие стандарты в отношении исследований с использованием ИИ и, возможно (еще одна ирония), инструменты ИИ, которые будут проверять цитирование на соответствие первоисточникам».

«Я не ставил перед собой цель что-либо выдумывать, — продолжил Розенбаум. — Произошло то, что всё чаще случается с журналистами, студентами, исследователями, юристами и авторами, работающими с этими системами каждый день: [была] сгенерированная ИИ информация, которая выглядела авторитетной, но часть её проникла слишком далеко, прежде чем её обнаружили».

Ругательства в адрес машины

Случаи вопиющих ошибок, сгенерированных искусственным интеллектом, становятся тревожно распространенными в ряде областей. В прошлом году Chicago Sun-Times опубликовала рекламный список летней литературы, полный несуществующих книг, придуманных ИИ. New York Times недавно пришлось выпустить существенное исправление после того, как опубликованные цитаты, приписываемые лидеру консерваторов Пьеру Пуальевру, оказались «сгенерированным ИИ кратким изложением его взглядов». Такие издания, как Wired и Business Insider, удалили несколько статей, приписываемых «Марго Бланшар», которые, по-видимому, были сгенерированы ИИ. Научные конференции столкнулись с докладами, содержащими вымышленные цитаты, а платформа для размещения препринтов arXiv недавно ввела политику нулевой терпимости к блокировкам, чтобы попытаться остановить эту проблему.

Сам Ars не застрахован от этой проблемы. Ранее в этом году мы отозвали статью после того, как бывший репортер использовал инструмент на основе искусственного интеллекта, предназначенный для извлечения дословных цитат из сообщения в блоге источника, — но инструмент вместо этого сгенерировал сфабрикованные версии того, что источник действительно написал. (Последнюю версию нашей политики в отношении ИИ можно найти здесь.)

Ирония ситуации, когда автор включает в свою книгу о влиянии ИИ на искажение реальности ложные утверждения, не ускользает от внимания Розенбаума. «Я ценю, что книга привлекла к себе внимание, но я бы не выбрал такой способ», — сказал он.

Хотя эта ирония «неприятна», он поспешил представить её как «поучительную». Тот факт, что человек, критически пишущий об ИИ и верификации, всё ещё может столкнуться с этими ошибками, говорит о том, насколько распространены и убедительны эти системы». Собственная проблема Розенбаума с ИИ «демонстрирует проблему гораздо ярче, чем любой абстрактный аргумент», — сказал он.

Возможно. Но если мы примем эту точку зрения, то каждая очевидная, но предотвратимая ошибка в мире может оказаться замаскированным благом, потому что она на самом деле помогает выявить огромную ошибку. А это неправильно; иногда «халатность» — это просто халатность.

Когда его прямо спросили, как он мог поддаться некоторым проблемам, связанным с искусственным интеллектом, о которых предупреждает его собственная книга, Розенбаум описал ситуацию, которая звучит как нездоровые отношения с обаятельным шарлатаном.

Автор: Стивен Розенбаум. Источник: The Future of Truth.

«Для писателя искусственный интеллект часто оказывается восхитительным помощником», — сказал мне Розенбаум. «Когда я говорю „помощник в писательстве“, я не использую это слово легкомысленно. Он удивительно креативен, хитер и необычен во всех этих отношениях… а потом он вас подводит так, что это просто ужасно».

На протяжении всего нашего разговора Розенбаум часто приводил примеры, когда очевидные ошибки ИИ приводили его в ярость, и он буквально проклинал машину. Эти случаи относятся к 2022 году, когда, по словам Розенбаума, он начал экспериментировать с инструментами ИИ для «небольших исследовательских проектов». В то время он находил ответы ИИ «чрезвычайно полезными» примерно в 8 случаях из 10, а в остальных случаях это были выдумки, которые «просто не соответствовали действительности».

Несмотря на эти ошибки, он продолжал использовать инструменты в своей жизни и работе. Во время нашего разговора во вторник Розенбаум рассказал, что недавно попросил инструмент искусственного интеллекта извлечь из слайдов презентации его заметки докладчика, написанные «без изменений, дословно», чтобы он мог использовать их для предстоящей презентации. Он уже собирался распечатать эти извлеченные заметки, когда понял, что LLM на самом деле переписал его слова, несмотря на его «очень четкие инструкции для робота».

«И я спрашиваю: „Ты переписал слова?“ А он отвечает: „Ну, я просто немного усилил формулировки“. Ну, простите, но, типа, идите вы к черту!» — сказал он.

Однако, несмотря на подобные ошибки, допускающие нецензурную лексику, Розенбаум по-прежнему считает, что инструменты искусственного интеллекта слишком эффективны, чтобы их не использовать.

«Презентация состояла из 100 страниц, — сказал Розенбаум. — Если бы мы копировали и вставляли текст с каждой страницы по отдельности, это заняло бы час бессмысленной работы. ChatGPT справился с этим примерно за четыре секунды».

На что вполне очевидный ответ может быть таким: Да, это было быстро.

Но это было и неправильно.

слезание с мотоцикла

Повышение эффективности может быть оправданным, когда на кону стоят лишь личные заметки к презентации. Но книга «Будущее истины» показывает, что баланс между надежностью ИИ и кажущейся скоростью следует оценивать совершенно по-другому, когда речь идет об исследованиях, результаты которых в конечном итоге публикуются в виде книг.

В ходе нашего разговора я постоянно возвращался к вопросу о компромиссе между точностью и эффективностью, который, как казалось, Розенбаум в какой-то степени осознавал как проблему. Даже называя помощь ИИ в исследованиях «волшебной» и «восхитительной», он описывал борьбу с выдумками ИИ и игнорируемыми указаниями как «пагубную и изнурительную» борьбу.

«Почти каждый раз, когда вы им пользуетесь, это вызывает дискомфорт», — сказал он, говоря о его склонности игнорировать четкие инструкции.

«Честно говоря, раньше я никогда не сталкивался с трудностями в работе с технологиями», — сказал он в другой момент. «А я ими активно пользуюсь».

Я никогда не оказывался в месте, где бы мне казалось, что используемые мной технологии одновременно опьяняют и опасны… Стивен Розенбаум

Учитывая проблемы с его новой книгой, я спросил, действительно ли риск внесения неточностей, которые можно не заметить, оправдывает предполагаемые преимущества.

«Я не употребляю наркотики и не пью алкоголь, но полагаю, что именно такой вопрос задает себе наркоман, когда выпивает слишком много и понимает, что это не так», — сказал Розенбаум. «Я никогда не оказывался в ситуации, когда бы считал, что используемые мной технологии одновременно и опьяняющие, и опасные. И я написал книгу именно для того, чтобы поднять этот вопрос, так что если я в итоге стану образцовым примером человека, не осознающего опасности, пусть так и будет».

В какой-то момент, обсуждая относительные риски и преимущества использования ИИ, Розенбаум отметил, что ездит на велосипеде, но на мотоцикле не ездит. «Я знаю, что на мотоцикле я добираюсь быстрее. Я думаю, что это опасно, и я могу погибнуть. Вот почему у меня нет мотоцикла», — сказал он.

Розенбаум ясно дал понять, что использование ИИ в этой аналогии — это относительно безопасный вариант, похожий на «велосипед». Я ответил, что сверхвысокая эффективность и катастрофический риск, присущие использованию ИИ, делают его больше похожим на мотоцикл. Розенбаум сказал: «Возможно, это справедливо», и поблагодарил меня за «уточнение» его аналогии.

Затем я задал очевидный вопрос: вы собираетесь и дальше ездить на мотоцикле?

«Могу я вам позже уточнить этот вопрос?» — спросил он.

Источник: arstechnica.com