Как оценить качество поиска в конвейерах RAG (часть 2): средний обратный ранг (MRR) и средняя точность (AP)

Оценка качества извлечения вашего конвейера RAG с помощью бинарных, учитывающих порядок мер

Делиться

Если вы пропустили Часть 1: Как оценить качество извлечения в трубопроводах RAG , ознакомьтесь с ней здесь.

В предыдущей статье я рассмотрел, почему важно оценивать качество поиска в конвейере RAG, а также некоторые базовые метрики для этого. В частности, в первой части основное внимание уделялось бинарным показателям, не учитывающим порядок, которые, по сути, оценивают наличие релевантных результатов в извлеченном наборе. Во второй части мы подробнее рассмотрим бинарные показатели, учитывающие порядок. То есть показатели, которые учитывают ранжирование каждого релевантного результата, помимо оценки того, был ли он извлечен. Итак, в этой статье мы подробнее рассмотрим две часто используемые бинарные показатели, учитывающие порядок: средний обратный ранг (MRR) и среднюю точность (AP).

Источник: towardsdatascience.com