GLSim：基于全局-局部相似性检测LVLMs中的对象幻觉

大型视觉语言模型中的对象幻觉问题，构成其在实际应用中安全部署的重要挑战。近期研究提出了基于对象级别的幻觉评分来估计对象幻觉的可能性；然而，这些方法通常仅单独采用全局或局部视角，可能限制检测的可靠性。本文引入GLSim，一种新型无训练的对象幻觉检测框架，利用图像和文本模态之间补充的全局和局部嵌入相似性信号，实现对多种场景下更准确可靠的幻觉检测。我们全面评估了现有对象幻觉检测方法，证明GLSim在检测性能上显著优于竞争基线。