认识你的RAG：评估RAG系统的数据集分类与生成策略
信息检索
2024-12-02 v1 机器学习
摘要
检索增强生成（RAG）系统是大型语言模型（LLM）在行业中广泛应用的一种方式。尽管存在许多工具帮助开发者构建自己的系统，但在本地衡量其性能的挑战在于数据集能否反映系统的实际用例。本文表明，使用公开的问答（Q&A）数据集来评估检索性能可能导致非最优的系统设计，常用RAG数据集生成工具可能导致数据不平衡。我们提出了基于标签和基于标签目标数据生成的解决方案。最终，我们展示了微调的小型LLM能够高效生成问答数据集。我们认为，这些观察对RAG系统开发中的数据认识步骤至关重要。
引用
@article{arxiv.2411.19710,
title = {Know Your RAG: Dataset Taxonomy and Generation Strategies for Evaluating RAG Systems},
author = {Rafael Teixeira de Lima and Shubham Gupta and Cesar Berrospi and Lokesh Mishra and Michele Dolfi and Peter Staar and Panagiotis Vagenas},
journal= {arXiv preprint arXiv:2411.19710},
year = {2024}
}
备注
to be published in the 31st International Conference on Computational Linguistics (COLING 2025)