面向测试时知识增强的动态参数检索增强生成

检索增强生成（RAG）通过从外部来源检索相关文档并将其纳入上下文来增强大型语言模型（LLM）。虽然它通过提供事实文本提高了可靠性，但随着上下文长度的增加会显著增加推理成本，并引入RAG幻觉的难题，这主要是由于LLM缺乏相应的参数知识所致。一种高效解决方案是在测试时增强LLM的知识。参数化RAG（PRAG）通过将文档嵌入LLM参数来实现测试时知识增强，有效地通过离线训练降低推理成本。然而，其高训练和存储成本，以及有限的泛化能力，显著限制了其实际采用。为了解决这些挑战，我们提出了动态参数检索增强生成（DyPRAG），一种新框架，利用轻量级参数翻译模型高效地将文档转换为参数知识。DyPRAG不仅降低了推理、训练和存储成本，还能在测试时动态生成参数知识，无缝增强LLM的知识，并以即插即用的方式解决知识冲突。对多个数据集进行的大量实验表明，DyPRAG在有效性和泛化能力方面均表现出色，为一种强大且实用的RAG范式提供了可能，使其能够在实际应用中实现知识融合，减轻RAG幻觉。我们的代码可在 https://github.com/Trae1ounG/DyPRAG 获取。