穿透迷雾，迎接苍穹：基于知识电路分析解读知识遮蔽
计算与语言
2025-09-10 v4
摘要
大型语言模型（LLM）尽管具备卓越的能力，但仍受幻觉问题的困扰。一种极具挑战性的变体——知识遮蔽，发生在某块被激活的知识无意间掩盖了另一块相关知识时，导致即使在高质量训练数据下也会产生错误输出。目前对知识遮蔽的理解主要局限于推理阶段的观察，缺乏对其在模型训练过程中的起源和内部机制的深入洞察。因此，我们引入了 PhantomCircuit，这是一个旨在全面分析和检测知识遮蔽的新型框架。通过创新性地采用知识电路分析，PhantomCircuit 剖析了电路中关键组件的功能，以及注意力模式动态如何促成知识遮蔽现象及其在整个训练过程中的演变。大量实验证明了 PhantomCircuit 在识别此类实例方面的有效性，为这种难以捉摸的幻觉提供了新见解，并为研究社区提供了缓解该问题的全新方法论视角。
引用
@article{arxiv.2505.14406,
title = {Pierce the Mists, Greet the Sky: Decipher Knowledge Overshadowing via Knowledge Circuit Analysis},
author = {Haoming Huang and Yibo Yan and Jiahao Huo and Xin Zou and Xinfeng Li and Kun Wang and Xuming Hu},
journal= {arXiv preprint arXiv:2505.14406},
year = {2025}
}
备注
Accepted by 2025 EMNLP Main