揭示 LLM 基于检索增强生成中知识利用机制
计算与语言
2025-05-20 v1
摘要
鉴于大语言模型 (LLMs) 中参数化知识的内在局限性，检索增强生成 (RAG) 被广泛用于扩展其知识范围。尽管 RAG 在开域问答等知识密集型任务中显示出前景，但其更广泛的应用于复杂任务和智能助手进一步提升了其实用性。尽管如此，LLM-based RAG 的底层知识利用机制仍未得到充分探索。本文系统性地研究了 LLMs 在 RAG 场景中如何整合内部（参数化）和外部（检索）知识的内在机制。我们在宏观层面采用知识流分析，探讨各模块在微观层面的功能。通过知识流分析，我们将知识利用过程分解为 LLM 各层的四个 distinct 阶段：知识细化、知识挤掘、知识表达和知识对抗。我们进一步证明，段落的相关性指导了这些阶段之间的知识流动。在模块层面，我们引入一种新方法——知识激活概率熵 (KAPE)，用于识别与内部或外部知识相关的神经元。通过选择性地 deactivating 这些神经元，我们实现了对 LLM 依赖某一知识来源的有针对性的转变。此外，我们发现多头注意力和多层感知器层在知识形成中发挥互补作用。这些见解为改进检索增强 LLMs 的可解释性和可靠性提供了基础，为知识密集型领域的更稳健和透明的生成解决方案铺平了道路。
引用
@article{arxiv.2505.11995,
title = {Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation},
author = {Yuhao Wang and Ruiyang Ren and Yucheng Wang and Wayne Xin Zhao and Jing Liu and Hua Wu and Haifeng Wang},
journal= {arXiv preprint arXiv:2505.11995},
year = {2025}
}
备注
SIGIR 2025