幻觉何时产生？关于路径复用与路径压缩演化的图视角
人工智能
2026-04-07 v1
摘要
大型语言模型（LLMs）中的推理幻觉常表现为流畅却不受支持的结论，违反给定上下文或底层事实知识。尽管这些故障广为人知，但解码器-only Transformer 产生幻觉的机制仍鲜为人知。我们将下一个 token 的预测建模为在底层图上进行的图搜索过程，其中实体对应节点，所学转换形成边缘。从这个角度看，上下文受限的推理是对抽样子图（内在推理）的受约束搜索，而无上下文查询依赖于底层图中记忆结构（外在推理）。我们展示，推理幻觉源于两个基本机制：路径复用（Path Reuse），即在早期训练中记忆知识覆盖上下文约束；路径压缩（Path Compression），即频繁遍历的多步骤路径在后期训练中折叠为快捷边。这些机制共同提供了解释 LLM 中推理幻觉的统一框架，并与下游应用中观察到的行为相联系。
关键词
引用
@article{arxiv.2604.03557,
title = {When Do Hallucinations Arise? A Graph Perspective on the Evolution of Path Reuse and Path Compression},
author = {Xinnan Dai and Kai Yang and Cheng Luo and Shenglai Zeng and Kai Guo and Jiliang Tang},
journal= {arXiv preprint arXiv:2604.03557},
year = {2026}
}