DRAGOn: 在周期性更新语料库上设计检索增强生成
计算与语言
2026-02-10 v3 人工智能
摘要
本文介绍了DRAGOn，一种在定期更新的语料库上设计RAG基准的方法。它包含最新的参考数据集、一个问题生成框架、一个自动评估流水线以及一个公开排行榜。指定的参考数据集允许对RAG系统进行统一比较，而新生成的数据集版本则缓解了数据泄露问题，并确保所有模型都在未见过的、可比较的数据上进行评估。自动问题生成流水线从文本语料库中提取知识图谱，并利用现代LLM能力生成多个问答对。提供了一组多样化的LLM作为评判者的指标，用于全面的模型评估。我们使用俄罗斯新闻媒体来构建数据集并展示我们的方法论。我们启动了一个公开排行榜来跟踪RAG系统的发展，并鼓励社区参与。
引用
@article{arxiv.2507.05713,
title = {DRAGOn: Designing RAG On Periodically Updated Corpus},
author = {Fedor Chernogorskii and Sergei Averkiev and Liliya Kudraleeva and Zaven Martirosian and Maria Tikhonova and Valentin Malykh and Alena Fenogenova},
journal= {arXiv preprint arXiv:2507.05713},
year = {2026}
}
备注
EACL 2026