桥接外部与参数知识：基于双流知识中的共享-私有语义协同缓解大语言模型幻觉
计算与语言
2026-01-12 v2
摘要
检索增强生成（RAG）旨在通过检索和整合相关外部知识来缓解大语言模型（LLM）的幻觉问题。然而，外部知识可能包含噪声并与 LLM 的参数知识冲突，导致性能下降。当前的 LLM 缺乏解决此类冲突的内在机制。为填补这一空白，我们提出了一种基于双流知识增强的共享-私有语义协同框架（DSSP-RAG）。其核心在于将传统自注意力机制细化为一种区分共享与私有语义的混合注意力，以实现受控的知识集成。我们引入一种无监督的幻觉检测方法，捕捉 LLM 固有的认知不确定性，确保仅在必要时引入外部知识。为减少外部知识中的噪声，我们提出了能量配额（EQ），由任务对齐层与任务非对齐层之间的注意力差异矩阵定义。广泛的实验表明，DSSP-RAG 在强大基线上实现了优异性能。
引用
@article{arxiv.2506.06240,
title = {Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge},
author = {Yi Sui and Chaozhuo Li and Chen Zhang and Dawei song and Qiuchi Li},
journal= {arXiv preprint arXiv:2506.06240},
year = {2026}
}