目标对象幻觉在视觉语言模型中的双通路电路
计算机视觉与模式识别
2026-05-14 v1
摘要
视觉语言模型（VLM）在桥接视觉感知和自然语言理解方面展现了惊人的能力，使其能够执行广泛的多模态推理任务。然而，它们常常会产生对象幻觉，即描述输入图像中不存在的内容，这限制了其可靠性和可解释性。为解决这一局限性，我们提出了双通路电路分析（Dual-Pathway Circuit Analysis）框架，用于识别和刻画视觉语言模型中与幻觉相关的电路，以实现机制化理解和因果探针。我们首先通过在五个结构各异的VLM上应用激活修补来识别一个支持正确预测的视觉 grounding 通路以及一个驱动错误输出的幻觉通路。随后，我们引入条件通路分析（CPA）来刻画通路级别的相互作用，揭示 grounding 组件在正确和幻觉样本中均保持强冗余，但发生一致的极性翻转，从而在正确样本上支持真实答案，转而与幻觉答案对齐于错误输出。我们进一步对幻觉通路组件进行了有针对性的抑制，结果表明，这些组件的规模增加可将对象幻觉降低最高达76%，且对准确率影响最小。我们验证了相同电路对关系性幻觉具有选择性迁移，但不适用于属性幻觉。在POPE对抗性数据集和AMBER上的评估表明，所识别的电路在不同架构间保持一致，支持因果干预，并在幻觉类型之间选择性迁移。
引用
@article{arxiv.2605.13156,
title = {Dual-Pathway Circuits of Object Hallucination in Vision-Language Models},
author = {Jiaxin Liu and Ding Zhong and Yue Wang and Zhidong Yang and Zhaolu Kang and Guangyuan Dong and Qishi Zhan and Pengcheng Fang and Aofan Liu},
journal= {arXiv preprint arXiv:2605.13156},
year = {2026}
}