World2Mind：面向基石模型的全景空间推理认知工具包
人工智能
2026-03-11 v1
摘要
实现对当前多模态基石模型（MFM）的稳健空间推理仍是根本性挑战。现有方法要么通过 3D grounding 数据过拟合统计捷径，要么局限于 2D 视觉感知，限制了空间推理准确性和在未见情景下的泛化能力。鼓励生物智慧的空间认知映射机制，我们提出 World2Mind，一个无训练的空间智能工具包。在其核心，World2Mind 利用 3D 重建和实例分割模型构建结构化的空间认知地图，使 MFM 能够主动获取关于感兴趣地标和感兴趣路线的针对性空间知识。为提供稳健的几何-拓扑先验，World2Mind 合成了一个使用椭圆参数精确建模地标自上而下布局的 Allocentric-Spatial Tree（AST）。为缓解 3D 重建固有的不准确性，我们引入一个三阶段推理链，包括工具调用评估、模态解耦线索收集和几何-语义交织推理。大量实验表明，World2Mind 提升了前沿模型（如 GPT-5.2）的性能，提升幅度为 5%~18%。惊人的是，仅凭 AST 结构化文本，纯文本基石模型即可执行复杂的 3D 空间推理，性能接近先进的多模态模型。
引用
@article{arxiv.2603.09774,
title = {World2Mind: Cognition Toolkit for Allocentric Spatial Reasoning in Foundation Models},
author = {Shouwei Ruan and Bin Wang and Zhenyu Wu and Qihui Zhu and Yuxiang Zhang and Hang Su and Yubin Wang},
journal= {arXiv preprint arXiv:2603.09774},
year = {2026}
}