FeB4RAG：评估检索增强生成背景下的联邦搜索
信息检索
2024-02-20 v1 计算与语言
摘要
联邦搜索系统聚合来自多个搜索引擎的结果，通过选择适当的来源来提升结果质量并契合用户意图。随着检索增强生成（RAG）流程的日益普及，联邦搜索可在跨异构数据源获取相关信息以生成知情响应方面发挥关键作用。然而，现有数据集（如过去 TREC FedWeb 赛道中开发的数据集）早于 RAG 范式转变，缺乏对现代信息检索挑战的代表性。为填补这一空白，我们推出了 FeB4RAG，这是一个专为 RAG 框架内的联邦搜索设计的新型数据集。该数据集源自广泛使用的 BEIR 基准集合的 16 个子集合，包含 790 个专为聊天机器人应用定制的信息请求（类似于对话式查询），以及每个资源返回的顶部结果和相关的由 LLM 推导的相关性判断。此外，为了支持该集合的需求，我们通过与朴素联邦搜索方法对比，展示了高质量联邦搜索系统对 RAG 响应生成的影响。我们通过并排定性比较 RAG 流程生成的答案来实现这一点。我们的集合促进并支持了新联邦搜索方法的开发与评估，特别是在 RAG 流程背景下。
引用
@article{arxiv.2402.11891,
title = {FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation},
author = {Shuai Wang and Ekaterina Khramtsova and Shengyao Zhuang and Guido Zuccon},
journal= {arXiv preprint arXiv:2402.11891},
year = {2024}
}