EnsemHalDet：通过内部状态检测器集成实现鲁棒的VLM幻觉检测
计算机视觉与模式识别
2026-05-20 v2 计算与语言
摘要
视觉-语言模型(VLM)在多模态任务中表现出色，但它们仍然容易产生事实不正确或缺乏输入图像依据的幻觉。最近的研究表明，利用内部表征进行幻觉检测比仅依赖模型输出的方法更高效、更准确。然而，现有的基于内部表征的方法通常依赖单一表征或检测器，限制了其捕捉多样化幻觉信号的能力。在本文中，我们提出了EnsemHalDet，一个基于集成的幻觉检测框架，利用VLM的多种内部表征，包括注意力输出和隐藏状态。EnsemHalDet为每种表征训练独立的检测器，并通过集成学习进行组合。在多个VQA数据集和VLM上的实验结果表明，EnsemHalDet在AUC方面持续优于先前方法和单检测器模型。这些结果表明，集成多样化内部信号显著提升了多模态幻觉检测的鲁棒性。
引用
@article{arxiv.2604.02784,
title = {EnsemHalDet: Robust VLM Hallucination Detection via Ensemble of Internal State Detectors},
author = {Ryuhei Miyazato and Shunsuke Kitada and Kei Harada},
journal= {arXiv preprint arXiv:2604.02784},
year = {2026}
}