Данное исследование демонстрирует потенциал программ обучения на уровне бакалавриата для доступного распространения информации, позволяя экспертным знаниям достигать более широкой аудитории без ущерба для точности.
Быстрые ссылки
- Бумага
- Делиться
Цифровая эпоха предоставляет все больший доступ к огромным массивам знаний, однако многое остается скрытым за сложным языком и специализированным жаргоном. Хотя сложность часто необходима в экспертном дискурсе, она может стать препятствием, когда пользователям нужно понять информацию, критически важную для их жизни, например, информацию о здоровье, юридическую терминологию или финансовые детали. Инструменты, позволяющие пользователям создавать упрощенные версии сложных текстов, с которыми они сталкиваются в интернете, могут дать им возможность взаимодействовать с этими текстами, когда это было бы невозможно в других условиях.
Сегодня в статье «Упрощение текста на основе LLM и его влияние на понимание пользователем и когнитивную нагрузку» исследовательский центр Google представляет систему, использующую модели Gemini, специально разработанную для упрощения текста с минимальными потерями (высокой точностью) . Цель этой системы — повысить ясность, тщательно сохраняя при этом первоначальный смысл, детали и нюансы. Это отличается от суммирования (где допустимо опущение информации) или объяснения (где часто добавляется информация). Мы также запускаем эту систему в новой функции приложения Google для iOS — Simplify.
Для достижения этой цели модели должны точно перефразировать сложные идеи, не допуская ошибок и не упуская ключевых деталей. Переписанный текст должен помогать читателю понимать сложный материал, не жертвуя при этом целостностью исходной информации.
Данная работа вносит два основных вклада. Во-первых, мы представляем новую систему, включающую автоматизированную оценку и итеративный цикл уточнения подсказок: это позволяет моделям Gemini находить наиболее эффективную подсказку для высокоточной упрощения текста путем итераций в масштабе и с скоростью, недостижимыми при ручной оптимизации подсказок. Во-вторых, в ходе тщательного крупномасштабного рандомизированного исследования мы демонстрируем, что упрощение текста заметно улучшает понимание пользователем и снижает когнитивную нагрузку.
Система автоматической оценки и оперативной доработки на базе технологии Gemini
Для достижения наших целей мы разработали автоматизированный подход, использующий модели Gemini для оценки качества упрощения и самосовершенствования подсказок. Однако создание подсказок для тонкого упрощения, где читабельность должна улучшаться без ущерба для смысла или детализации, представляет собой сложную задачу. Автоматизированная система решает эту проблему, позволяя проводить многочисленные пробные попытки, необходимые для обнаружения наиболее эффективной подсказки.
Автоматизированная оценка
Ручная оценка нецелесообразна для быстрой итерации. В нашей системе используются два новых компонента оценки:
- Оценка читабельности : Отказавшись от упрощенных метрик, таких как шкала Флеша-Кинкейда, мы использовали подсказку Gemini для оценки читабельности текста по шкале от 1 до 10. Эта подсказка итеративно дорабатывалась с учетом экспертной оценки, что позволило провести более тонкую оценку легкости понимания. В ходе тестирования мы обнаружили, что эта оценка читабельности на основе LLM лучше согласуется с оценками читабельности, проведенными людьми, чем шкала Флеша-Кинкейда.
- Оценка достоверности : обеспечение сохранения смысла имеет решающее значение. Используя Gemini 1.5 Pro, мы внедрили процесс, который сопоставляет утверждения из оригинального текста с упрощенной версией. Этот метод выявляет конкретные типы ошибок, такие как потеря, приобретение или искажение информации, каждая из которых оценивается по степени серьезности, обеспечивая детальную оценку верности первоначальному смыслу (полнота и логическая связь).
Итеративное уточнение подсказок: LLM оптимизируют LLM.
Качество окончательного упрощения (сгенерированного Gemini 1.5 Flash) в значительной степени зависит от исходного запроса. Мы автоматизировали сам процесс оптимизации запроса с помощью цикла уточнения: используя оценки читабельности и точности, полученную в результате автоматической оценки, другая модель Gemini 1.5 Pro проанализировала производительность упрощенного запроса и предложила уточненные варианты для следующей итерации.
Это создает мощную петлю обратной связи, в которой система LLM итеративно улучшает свои собственные инструкции на основе показателей производительности, уменьшая зависимость от ручной разработки подсказок и позволяя находить высокоэффективные стратегии упрощения. В данной работе цикл выполнялся в течение 824 итераций до тех пор, пока производительность не стабилизировалась.
Этот автоматизированный процесс, в котором одна система машинного обучения оценивает результаты работы другой и уточняет ее инструкции (подсказки) на основе показателей производительности (читаемость и точность) и детальных ошибок, представляет собой ключевое нововведение. Он выходит за рамки трудоемкой ручной разработки подсказок, позволяя системе автономно находить высокоэффективные стратегии для тонкого упрощения на протяжении сотен итераций.
Краткое описание подхода на основе алгоритма Gemini для упрощения текста с минимальными потерями.
Оценка эффективности: крупномасштабное рандомизированное исследование
Для подтверждения эффективности упрощения текста с помощью этого подхода в реальных условиях мы провели рандомизированное контролируемое исследование.
Дизайн исследования
- Участники : После проверки на знание темы была набрана большая группа из 4563 участников, давших согласие на участие.
- Тексты : Мы использовали 31 разнообразный отрывок из реальных текстов, охватывающих различные области, известные своей сложностью: медицинские исследования, биология, право, финансы, литература, философия, аэрокосмическая отрасль и информатика.
- Сравнение : Используя рандомизированный полный блочный дизайн (дизайн исследования, который сравнивает группы с учетом вариаций), участники были случайным образом распределены для чтения либо оригинального текста, либо упрощенной версии, либо обоих вариантов. Для оценки дальнейшего влияния упрощения текста на кратковременное запоминание содержания, пользователи были протестированы в двух условиях: в одном они могли обращаться к тексту при ответе на вопросы, а в другом — нет.
- Методы измерения : Мы оценивали понимание с помощью тщательно отобранных вопросов с множественным выбором (MCQ); самооценку уверенности; и когнитивную нагрузку с помощью упрощенного индекса рабочей нагрузки NASA.
Цель исследования — оценить модель упрощения с использованием реальных текстов.
Результаты
Наше исследование, охватившее почти 50 000 ответов на вопросы с множественным выбором, дало статистически значимые результаты, демонстрирующие ценность упрощения.
Количественные результаты
Участники, читавшие упрощенный текст, продемонстрировали в целом 4% абсолютное повышение точности ответов на вопросы с множественным выбором по сравнению с теми, кто читал оригинал. Наиболее заметный эффект наблюдался в случае сложных текстов из PubMed, где абсолютное повышение точности составило 15%. Значительное улучшение также отмечалось в областях финансов (6%), юриспруденции (4%) и технических дисциплин — аэронавтики/информатики (4%). Эти улучшения были устойчивыми даже тогда, когда участники не могли вернуться к тексту, что свидетельствует о пользе как для непосредственного понимания, так и для краткосрочного запоминания.
Помимо точности, участники отметили повышение уверенности в своих ответах (среднее улучшение на 0,24 по шкале от -2 до 2) и сочли задачу более легкой (среднее улучшение на 0,33 по шкале от -2 до 2, упрощенной на основе индекса сложности задачи) при взаимодействии с упрощенным текстом.
Качественные выводы
Анализ примеров, где упрощение значительно повысило точность ответов участников на вопросы с множественным выбором (на 38% для одного медицинского исследовательского текста), показывает , насколько оно полезно. Рассмотрим исходный текст ниже в сравнении с его упрощенной версией. Упрощение повышает ясность за счет определения терминов (таких как «эмфизема» и «фиброз»), разбора сложных предложений и уточнения сложных взаимосвязей.
*Отрывок из биомедицинской статьи, PMC10177208 , лицензия Creative Commons (CC BY 4.0).
Упрощение оказалось особенно полезным для текстов с низким уровнем понимания, что дополнительно подтверждается примерами, приведенными в нашей статье.
Ограничения исследования
Наше исследование, несмотря на масштабность, имеет ограничения. Мы использовали платформу для проведения опросов, чтобы набрать участников исследования, и это может не в полной мере отражать группу пользователей, активно стремящихся понять сложную информацию. Хотя наша система стремится к высокой точности, возможны ошибки LLM, требующие постоянного контроля. Наконец, тесты с множественным выбором, хотя и масштабируемы, дают неполную оценку глубокого понимания.
Доступно в качестве новой функции Simplify.
Начиная с сегодняшнего дня, эта функция доступна в новом приложении Google для iOS под названием «Упрощение». Чтобы использовать её, пользователи могут выделить любой сложный текст на посещаемой ими веб-странице в приложении Google, а затем нажать на появившийся значок «Упрощение», чтобы увидеть новую, более простую версию текста, не прерывая чтение и не покидая страницу. Это облегчает понимание новых или сложных тем, с которыми люди могут столкнуться при изучении чего-либо нового в интернете.
Заключение
Мы разработали и тщательно протестировали автоматизированную систему на основе Gemini, которая итеративно обучается упрощению текста, сохраняя при этом точность оригинала. Благодаря тому, что эта система наглядно преодолевает разрыв в понимании сложной информации, она значительно улучшает восприятие и снижает когнитивную нагрузку на пользователей в важных областях.
Благодарности
В этой работе участвовала междисциплинарная команда, состоящая из инженеров-программистов, исследователей, врачей и специалистов из разных областей. Ключевыми участниками проекта являются: Тео Гидроз, Джимми Ли, Адам Мансур, Пол Джун, Нина Гонсалес, Сян Цзи, Майк Санчес, Матиас М. Дж. Беллаиш, Мигель Анхель Гарридо, Фарук Ахмед, Дивьянш Чоудхари, Джей Хартфорд, Ченвэй Сюй, Генри Хавьер Серрано Эчеверрия, Ифань Ван, Джефф Шаффер, Эрик (Ифань) Цао, Йосси Матиас, Авинатан Хассидим, Дейл Р. Вебстер, Юн Лю, Шо Фудзивара, Пегги Буи, Куанг Дуонг.
Источник: research.google
