TruthPrInt：通过潜在真实导向的预干预缓解大型视觉语言模型对象幻觉
计算机视觉与模式识别
2026-02-10 v3 人工智能
计算与语言
摘要
对象幻觉 (OH) 已被确认为大型视觉语言模型 (LVLMs) 中值得关注的可信任度挑战。最近的大型语言模型 (LLMs) 进展表明，内部状态（如隐藏状态）编码了生成响应的"整体真实性"。然而，如何这些内部状态在 LVLMs 中发挥作用，以及它们是否可作为" per-token" 幻觉指示器，仍未得到充分探索，这对于缓解 OH 至关重要。本文首先深入探索了 LVLMs 内部状态与 OH 问题的关系，发现 (1) LVLMs 内部状态是 OH 行为的 high-specificity per-token 指示器。此外，(2) 不同 LVLMs 在 common latent 子空间中编码通用的幻觉模式，表明存在由各种 LVLMs 共享的" generic truthful directions"。基于这些发现，我们提出了基于潜在真实导向的预干预方法 (TruthPrInt)，该方法首先学习 LVLMs 解码的真实导向，然后在 LVLMs 解码期间应用真实导向的推断时干预。我们进一步提出 TruthPrInt 通过构建和对齐幻觉潜在子空间来增强跨 LVLMs 和跨数据集的幻觉检测迁移能力。在大量实验设置中评估了 TruthPrInt，包括 in-domain 和 out-of-domain 场景，涵盖流行的 LVLMs 和 OH 档案。实验结果表明，TruthPrInt 在性能上显著优于最新方法。代码将在 https://github.com/jinhaoduan/TruthPrInt 上提供。
引用
@article{arxiv.2503.10602,
title = {TruthPrInt: Mitigating Large Vision-Language Models Object Hallucination Via Latent Truthful-Guided Pre-Intervention},
author = {Jinhao Duan and Fei Kong and Hao Cheng and James Diffenderfer and Bhavya Kailkhura and Lichao Sun and Xiaofeng Zhu and Xiaoshuang Shi and Kaidi Xu},
journal= {arXiv preprint arXiv:2503.10602},
year = {2026}
}
备注
15 pages, 9 figures, the first two authors contributed equally, Accepted by ICCV 2025