FaithSCAN：面向忠实视觉问答的单次模型驱动幻觉检测

视觉问答（VQA）中的忠实性幻觉发生在视觉-语言模型生成流畅但无视觉依据答案时，这严重削弱了其在安全关键应用中的可靠性。现有检测方法主要分为两类：依赖辅助模型或知识库的外部验证方法，以及使用重复抽样或不确定性估计的不确定性驱动方法。前者计算开销高，受限于外部资源质量；后者仅捕捉模型不确定性的有限方面，未能充分探索与多样化失败模式相关的丰富内部信号。两种范式在效率、鲁棒性和检测性能方面均存在内在局限。为此，我们提出 FaithSCAN：一个轻量级网络，通过利用视觉语言模型（VLM）的丰富内部信号来检测幻觉，包括 token 级解码不确定性、中间视觉表征和跨模态对齐特征。这些信号通过分支级证据编码和不确定性感知注意力进行融合。我们还将 LLM-as-a-Judge 范式扩展到 VQA 幻觉，提出一种低成本策略自动生成模型相关的监督信号，实现无需高成本人工标注的监督训练，同时保持高检测准确率。实验表明，FaithSCAN 在多个 VQA 基准测试上在有效性和效率方面均显著优于现有方法。深入分析显示，幻觉源于视觉感知、跨模态推理和语言解码中系统性内部状态变化。不同内部信号提供互补的诊断线索，幻觉模式随 VLM 架构而异，为理解多模态幻觉的根本原因提供了新见解。