CLAPNQ：面向 RAG 系统的 Natural Questions 基于篇章的连贯长篇答案
计算与语言
2024-12-24 v2
摘要
检索增强生成已成为大语言模型的一种流行应用。成功的 RAG 系统最好能提供准确的答案，这些答案以篇章为依据且不产生任何幻觉。虽然构建完整的 RAG 流水线需要大量工作，但能够对性能进行基准测试也是必要的。我们提出了 ClapNQ，一个用于完整 RAG 流水线的长篇问答基准数据集。ClapNQ 包含来自 Natural Questions (NQ) 的带有依据黄金篇章的长答案，以及一个语料库，用于执行检索、生成或完整的 RAG 流水线。ClapNQ 的答案简洁，比完整篇章小 3 倍，且具有连贯性，这意味着答案组织流畅，通常通过整合篇章中不连续的多个片段而成。RAG 模型必须适应这些特性才能在 ClapNQ 上取得成功。我们展示了 ClapNQ 的基线实验和分析，突出了基于篇章的 RAG 仍有巨大改进空间。CLAPNQ 已在 https://github.com/primeqa/clapnq 公开发布。
引用
@article{arxiv.2404.02103,
title = {CLAPNQ: Cohesive Long-form Answers from Passages in Natural Questions for RAG systems},
author = {Sara Rosenthal and Avirup Sil and Radu Florian and Salim Roukos},
journal= {arXiv preprint arXiv:2404.02103},
year = {2024}
}
备注
26 pages, Accepted at TACL