Magic Mushroom：用于细粒度分析RAG系统中检索噪声侵蚀的可定制基准
计算与语言
2025-06-06 v2
摘要
检索增强生成（RAG）系统通过整合外部检索信息来增强大语言模型（LLM），缓解了幻觉和知识过时等问题。然而，RAG系统对真实场景中普遍存在的检索噪声高度敏感。现有的基准测试无法模拟真实检索环境中遇到的复杂且异质的噪声分布，从而削弱了可靠的鲁棒性评估。在本文中，我们根据语言特征和噪声特性定义了四类检索噪声，旨在反映真实场景中噪声的异质性。在此基础上，我们引入了Magic Mushroom基准，用于复现"魔法蘑菇"噪声：表面看似相关但暗中误导RAG系统的上下文。Magic Mushroom包含7,468个单跳和3,925个多跳问答对。更重要的是，Magic Mushroom使研究人员能够根据特定的研究目标或应用场景灵活配置检索噪声的组合，从而允许高度受控的评估设置。我们在不同噪声分布下评估了不同参数规模的LLM生成器和经典RAG去噪策略，以研究它们在渐进噪声侵蚀过程中的性能动态。我们的分析揭示，生成器和去噪策略均有显著改进空间，且对噪声分布表现出极端敏感性。Magic Mushroom是评估和推进噪声鲁棒RAG系统、加速其在真实应用中广泛部署的有前景工具。Magic Mushroom基准可通过https://drive.google.com/file/d/1aP5kyPuk4L-L_uoI6T9UhxuTyt8oMqjT/view?usp=sharing获取。
引用
@article{arxiv.2506.03901,
title = {Magic Mushroom: A Customizable Benchmark for Fine-grained Analysis of Retrieval Noise Erosion in RAG Systems},
author = {Yuxin Zhang and Yan Wang and Yongrui Chen and Shenyu Zhang and Xinbang Dai and Sheng Bi and Guilin Qi},
journal= {arXiv preprint arXiv:2506.03901},
year = {2025}
}