通过心理图像模拟实现视觉语言模型的视角感知推理

我们提出了一种通过心理图像模拟实现视觉语言模型(VLM)视角感知推理的框架。视角感知，即从替代视角感知环境或情境的能力，是人类水平视觉理解的关键基准，对环境交互和与自主智能体协作至关重要。尽管视觉空间推理在 VLM 中取得了进展，但近期研究表明现代 VLM 在视角感知推理方面存在显著不足，表现出强烈倾向于采用 egocentric 解释。为弥合 VLM 与人类感知之间的差距，我们关注心理图像的作用，人类通过抽象表示感知世界，从而促进视角转换。鼓励此思路后，我们提出了名为 Abstract Perspective Change (APC) 的视角感知推理框架，有效利用视觉基础模型（如目标检测、分割和姿态估计）构建场景抽象并实现视角转换。我们在合成数据和真实图像基准上进行实验，并与各种 VLM 进行比较，结果显示 our 框架在视角感知推理方面显著提升，进一步超越了微调的空间推理模型和基于新视角合成的方法。