pySpatial：用于零样本空间推理的 3D 视觉程序生成
计算机视觉与模式识别
2026-03-03 v1
摘要
多模态大语言模型（MLLM）在通用感知与推理方面显示出强大的能力，但仍在需要理解 3D 世界空间的任务方面受限。为此，我们引入了 pySpatial，一个视觉编程框架，使 MLLM 能够通过 Python 代码生成与空间工具进行接口交互。给定图像序列和自然语言查询，模型组合调用空间工具，包括 3D 重建、相机姿态恢复、新视角渲染等。这些操作将原始 2D 输入转换为可探索的 3D 场景，使 MLLM 能够在结构化的空间表示上进行显式推理。值得注意的是，pySpatial 无需基于梯度的微调， operates 在完全零样本设置下。实验评估在具有挑战性的 MindCube 和 Omni3D-Bench 基准测试上表明，我们的框架 pySpatial 持续超过强大的 MLLM 基线；例如，它在 MindCube 上比 GPT-4.1-mini 高出 12.94%。此外，我们进行了真实的室内导航实验，机器人能够使用 pySpatial 生成的路线计划成功遍历复杂环境，凸显了我们方法的实际有效性。
引用
@article{arxiv.2603.00905,
title = {pySpatial: Generating 3D Visual Programs for Zero-Shot Spatial Reasoning},
author = {Zhanpeng Luo and Ce Zhang and Silong Yong and Cunxi Dai and Qianwei Wang and Haoxi Ran and Guanya Shi and Katia Sycara and Yaqi Xie},
journal= {arXiv preprint arXiv:2603.00905},
year = {2026}
}
备注
Accepted at ICLR 2026, Project Page: Our project: https://pySpatial.github.io