Оценка качества извлечения вашего конвейера RAG с помощью бинарных, учитывающих порядок мер
Делиться
Если вы пропустили Часть 1: Как оценить качество извлечения в трубопроводах RAG , ознакомьтесь с ней здесь.
В предыдущей статье я рассмотрел, почему важно оценивать качество поиска в конвейере RAG, а также некоторые базовые метрики для этого. В частности, в первой части основное внимание уделялось бинарным показателям, не учитывающим порядок, которые, по сути, оценивают наличие релевантных результатов в извлеченном наборе. Во второй части мы подробнее рассмотрим бинарные показатели, учитывающие порядок. То есть показатели, которые учитывают ранжирование каждого релевантного результата, помимо оценки того, был ли он извлечен. Итак, в этой статье мы подробнее рассмотрим две часто используемые бинарные показатели, учитывающие порядок: средний обратный ранг (MRR) и среднюю точность (AP).
Источник: towardsdatascience.com
