当关系被打破：面向旋转与噪声的视觉语言模型中的关系幻觉分析
计算机视觉与模式识别
2026-05-12 v2 计算与语言
摘要
视觉语言模型(VLM)取得了强大的多模态性能，但仍容易出现关系幻觉，这需要对对象间相互作用进行准确推理。我们研究了视觉扰动，具体是旋转和噪声，对关系推理的影响，表明即使轻微的扰动也显著降低了跨模型和数据集的关系推理能力。我们进一步评估了基于提示的增强和预处理策略(方向纠正和去噪)，发现虽然它们提供了部分改进，但并未完全解决幻觉问题。我们的结果揭示了感知鲁棒性与关系理解之间的差距，凸显了需要更健壮、几何感知的 VLM 的需求。
引用
@article{arxiv.2605.05045,
title = {When Relations Break: Analyzing Relation Hallucination in Vision-Language Model Under Rotation and Noise},
author = {Philip Wootaek Shin and Ajay Narayanan Sridhar and Sivani Devarapalli and Rui Zhang and Jack Sampson and Vijaykrishnan Narayanan},
journal= {arXiv preprint arXiv:2605.05045},
year = {2026}
}