基于AMR概念蒸馏压缩长上下文以提升RAG效果
计算与语言
2024-05-07 v1
摘要
大型语言模型（LLM）在信息获取方面取得了显著进展。然而，过度依赖可能存在错误的参数化知识，导致在处理长尾、领域特定查询时出现幻觉和不准确现象。检索增强生成（RAG）通过引入外部非参数化知识来缓解这一限制。然而，检索到的长上下文文档常包含噪声和无关信息，导致注意力被稀释。灵感来源于关键概念在个体阅读理解中的支持作用，我们提出一种基于抽象意义表示（AMR）的概念蒸馏算法，用于构建新型概念基RAG框架。该算法通过参考可靠语言特征，从AMR的informative节点中提炼出一组关键概念，将杂乱的原始检索文档压缩为紧凑的概念集合。这些概念在推理过程中显式约束LLM仅聚焦于关键信息。我们在开放域问答数据集上进行了大量实验，以 empirically 评估所提方法的有效性。结果表明，概念基RAG框架在支持文档数量增加时优于其他基线方法，同时在 various backbone LLMs 之间表现出良好鲁棒性。这强化了提炼出的概念对增强RAG过程具有信息价值，通过过滤干扰信息来实现。迄今为止，这是首个引入AMR以提升RAG效果的工作，为基于语义的上下文压缩以提升推理性能提供了潜在解决方案。
引用
@article{arxiv.2405.03085,
title = {Compressing Long Context for Enhancing RAG with AMR-based Concept Distillation},
author = {Kaize Shi and Xueyao Sun and Qing Li and Guandong Xu},
journal= {arXiv preprint arXiv:2405.03085},
year = {2024}
}