增强检索与管理检索：四模块协同提升 RAG 系统质量与效率
计算与语言
2024-07-16 v1 人工智能
摘要
检索增强生成 (RAG) 技术利用大型语言模型 (LLM) 的情境学习能力，以产生更准确和相关的响应。源自简单“检索-读取”方法，RAG 框架已演变为高度灵活且模块化的范式。关键组件之一是查询重写模块，通过生成搜索友好型查询来增强知识检索。该方法将输入问题与知识库更紧密地对齐。我们的研究识别了通过生成多个查询来克服单个查询信息平台期的问题，并通过重写问题以消除模糊性，从而澄清底层意图的机会。我们还发现当前 RAG 系统存在无关知识问题；为克服这一问题，我们提出了知识过滤器。这两个模块均基于 instruction-tuned Gemma-2B 模型，两者一起增强了响应质量。最终识别出的最后一个问题是冗余检索；我们引入记忆知识储备和检索器触发器来解决这一问题。前者以参数无关的方式支持 RAG 系统知识库的动态扩展，后者优化了访问外部知识的成本，从而提高了资源利用率和响应效率。这四个 RAG 模块协同增强了 RAG 系统的响应质量和效率。通过实验和消融研究在六个常见 QA 数据集上验证了这些模块的有效性。源代码可在 https://github.com/Ancientshi/ERM4 获取。
引用
@article{arxiv.2407.10670,
title = {Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems},
author = {Yunxiao Shi and Xing Zi and Zijing Shi and Haimin Zhang and Qiang Wu and Min Xu},
journal= {arXiv preprint arXiv:2407.10670},
year = {2024}
}
备注
ECAI2024 #1304