Архив рубрики ~Лента новостей~
Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой
И тут обычно возникает ложная развилка:либо размечаем тысячу вопросов и ждем квартал;либо генерируем десяток вопросов моделью, получаем recall@10 = 0.91 и объявляем поиск готовымМежду этими крайностями есть рабочее место: первые 100-300 вручную отобранных кейсов. Отсюда и странные решения: синтетические вопросы используют как…
Читать