视觉基础在VQA中的作用

VQA中的视觉基础（VG）指的是模型基于问题相关图像区域进行推理的倾向。从概念上讲，VG被认为是VQA任务的公理性要求。然而，在实践中，基于深度神经网络（DNN）的VQA模型因通过捷径学习（SC）绕过VG而臭名昭著，且在标准基准测试中并未表现出明显的性能损失。为了揭示SC学习的影响，人们提出了分布外（OOD）测试，这些测试暴露了因缺乏VG而导致的低准确性。这些测试自此成为VG研究的核心，并作为各种关于VG对准确性影响研究的基础。然而，VG在VQA中的作用仍未得到完全理解，也尚未被恰当地形式化。在这项工作中，我们试图通过形式化VG在VQA中的作用来阐明其角色。我们提出了一个新颖的理论框架，称为“视觉基础推理”（VGR），它利用VG和推理的概念来描述理想OOD测试中的VQA推理。通过整合关于VG在VQA中作用的基本见解，VGR有助于揭示OOD测试中普遍存在的与VG相关的捷径利用，这解释了为什么VG与OOD准确性之间的关系难以界定。最后，我们提出了一种创建能恰当强调VG需求的OOD测试的方法，并展示了如何在这些测试上提高性能。