基于抑制 FFN 的参数知识静默：提高检索增强生成的忠实性
计算与语言
2025-06-24 v3 人工智能
摘要
集成检索增强生成（RAG）的大语言模型（LLM）通过 grounding 输出于外部证据来提高事实性，但仍易产生不忠实生成，即即使在检索上下文相关且准确的情况下，输出也与检索内容矛盾。现有方法旨在提高忠实性的主要聚焦于增强对外部上下文的利用，却常常忽视了内部参数知识在生成过程中的持久影响。在本工作中，我们深入探讨了不忠实生成背后的内部机制，识别出一类中到深层前馈网络（FFN）在此类情形下的激活比例显著高于常规。基于此洞察，我们提出了通过 FFN 抑制实现参数知识静默（ParamMute）的框架，通过抑制与不忠实相关的 FFN 激活并校准模型以符合检索知识，从而提升上下文忠实性。为评估我们的方案，我们引入 CoFaithfulQA 基准测试，专为评估内部知识与准确外部证据冲突情境下的忠实性而设计。实验结果表明，ParamMute 在 CoFaithfulQA 和现有 ConFiQA 基准测试中均显著提升了忠实性，显著降低了对参数记忆的依赖。这一发现凸显了减轻内部知识主导作用的重要性，为提高 LLM 在 RAG 场景下的可信度提供了新思路。所有代码均已公开于 https://github.com/OpenBMB/ParamMute。
引用
@article{arxiv.2502.15543,
title = {ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation},
author = {Pengcheng Huang and Zhenghao Liu and Yukun Yan and Haiyan Zhao and Xiaoyuan Yi and Hao Chen and Zhiyuan Liu and Maosong Sun and Tong Xiao and Ge Yu and Chenyan Xiong},
journal= {arXiv preprint arXiv:2502.15543},
year = {2025}
}
备注
22 pages, 7 figures, 7 tables