从诊断到改进：探索视觉语言模型中的时空-物理推理
计算机视觉与模式识别
2025-08-15 v1
摘要
时空-物理推理是理解真实物理世界的基础能力，是构建稳健世界模型的关键步骤。尽管最近的视觉语言模型（VLM）在专门领域如多模态数学和纯空间理解方面取得了显著进展，但其时空-物理推理能力仍鲜有探索。本文提供了对主流 VLM 的全面诊断分析，揭示当前模型在这一关键任务上表现不足。进一步的详细分析显示，这种不表现很大程度上归因于由人类类似先验导致的偏差以及缺乏深层推理。为此，我们应用监督微调后跟随基于规则的强化学习来 Qwen2.5-VL-7B，显著提升了时空-物理推理能力，并超越了领先的专有模型。尽管如此，尽管取得了成功，模型对新物理情景的泛化仍有限——这凸显了在时空-物理推理中亟需新方法的压迫需求。
关键词
引用
@article{arxiv.2508.10770,
title = {From Diagnosis to Improvement: Probing Spatio-Physical Reasoning in Vision Language Models},
author = {Tiancheng Han and Yunfei Gao and Yong Li and Wuzhou Yu and Qiaosheng Zhang and Wenqi Shao},
journal= {arXiv preprint arXiv:2508.10770},
year = {2025}
}
备注
9 pages, 6 figures