ReFilter：通过门控过滤器提升检索增强生成的鲁棒性
计算与语言
2026-02-16 v1
摘要
检索增强生成（Retrieval-augmented generation, RAG）已成为 grounding 大型语言模型（LLMs）于外部证据进行知识密集型问答的主导范式。核心设计选择在于如何将检索样本融入LLMs，其中现有内部融合方法广泛分为查询基融合、参数融合和潜在基融合。尽管这些方法在适度检索规模下效果良好，但随着检索候选数量k的增加，这些方法往往难以优雅扩展：更大的k改善证据覆盖，但现实中的top-k检索不可避免地包含无关或冗余内容，同时增加推理成本。为解决这些限制，我们提出ReFilter，一种 novel 潜在基融合框架，执行标记级过滤和融合。ReFilter包含三个关键组件：用于编码上下文特征的上下文编码器、用于为每个标记加权的门控过滤器，以及用于将加权标记特征整合到LLM隐藏状态中的标记融合模块。在四个通用领域QA基准测试中进行的实验表明，ReFilter在内域适应和外域迁移两种情况下均实现最佳平均性能。ReFilter进一步可推广至五个生物医学QA基准测试中的零样本迁移，无需领域微调，达到70.01%的平均准确率。
引用
@article{arxiv.2602.12709,
title = {ReFilter: Improving Robustness of Retrieval-Augmented Generation via Gated Filter},
author = {Yixin Chen and Ying Xiong and Shangyu Wu and Xiangrui Ke and Nan Guan and Chun Jason Xue},
journal= {arXiv preprint arXiv:2602.12709},
year = {2026}
}