误解导致幻觉：跟踪视觉语言模型中的干扰变量传播
计算机视觉与模式识别
2026-03-31 v2
摘要
视觉语言模型（VLM）常常会幻觉地生成不存在的物体。检测幻觉类似于检测欺骗：仅凭最终的陈述是不够的，必须考察其底层的推理过程。然而，现有的检测器大多依赖最终层的信号。注意力基于的方法假设幻觉标记表现出低注意力，而熵基于的方法则使用最终步骤的不确定性。我们的分析揭示了相反的现象：幻觉物体可以因上下文先验而表现出集中注意力；且模型常常因为中间层已经收敛到错误假设而表现出高置信度。我们表明，幻觉检测的关键在于模型的思考过程，而不在于其最终输出。通过探测解码器层，我们发现了一种被忽视的行为：模型在决定错误答案之前会不断修订物体假设。一旦模型抓住了一个受干扰的假设，就会在后续层中传播，最终导致幻觉。为捕捉这一行为，我们引入了“过度思考分数”（Overthinking Score），用于衡量模型同时考虑的假设数量以及这些假设在各层之间的不稳定性。该分数显著提升了幻觉检测性能：在 MSCOCO 上达到 78.9% 的 F1 分数，在 AMBER 上达到 71.58%。
引用
@article{arxiv.2603.07619,
title = {Overthinking Causes Hallucination: Tracing Confounder Propagation in Vision Language Models},
author = {Abin Shoby and Ta Duc Huy and Tuan Dung Nguyen and Minh Khoi Ho and Qi Chen and Anton van den Hengel and Phi Le Nguyen and Johan W. Verjans and Vu Minh Hieu Phan},
journal= {arXiv preprint arXiv:2603.07619},
year = {2026}
}
备注
CVPR2026 Findings