物理情境构建器：面向视觉语言模型的物理推理模块化框架
计算机视觉与模式识别
2025-10-30 v3 人工智能
摘要
物理推理是视觉语言模型（VLM）面临的重要挑战。这一局限性源于无法将已学习的知识转化为对物理行为的预测。虽然持续微调可以缓解此问题，但对于大型模型而言成本高昂，且不实用为每个任务重复执行。由此需要创建模块化和可扩展的方式来教会VLM进行物理推理。为此，我们引入了物理情境构建器（PCBs），这是一套模块化框架，其中 specialized 小型VLM被微调以生成详细的物理场景描述。这些可以用作物理情境来增强大型VLM的推理能力。PCBs使我们能够将视觉感知与推理分离，从而分析它们在物理理解中的相对贡献。我们在CLEVRER以及落塔（Falling Tower）数据集上进行实验，该数据集包含模拟和真实场景的稳定性检测。实验结果表明，PCBs在复杂物理推理任务上提供了显著的性能提升，平均准确率提高最高可达13.8%。值得注意的是，PCBs还显示出强大的Sim2Real迁移，成功地从模拟训练数据推广到真实场景。
引用
@article{arxiv.2412.08619,
title = {Physics Context Builders: A Modular Framework for Physical Reasoning in Vision-Language Models},
author = {Vahid Balazadeh and Mohammadmehdi Ataei and Hyunmin Cheong and Amir Hosein Khasahmadi and Rahul G. Krishnan},
journal= {arXiv preprint arXiv:2412.08619},
year = {2025}
}