从2D到3D认知：通用世界模型的简要综述
计算机视觉与模式识别
2025-06-26 v1
摘要
世界模型在人工通用智能（AGI）的开发中日益受到关注，作为学习外部世界表征和预测未来状态的计算框架。虽然早期的工作专注于2D视觉感知和仿真，但近期的3D感知生成式世界模型已展示出合成几何一致、交互式3D环境的能力，标志着向3D空间认知转变。尽管取得了快速进展，但该领域缺乏系统性分析来归类新兴技术并阐明其在推动3D认知世界模型方面的作用。本综述通过引入概念框架，提供了从2D感知到3D认知的世界模型的结构化和前瞩性综述。在此框架中，我们突出了两个关键技术驱动，特别是3D表征和世界知识的融入，作为基本支柱。基于这些，我们剖析了支撑3D世界建模的三个核心认知能力：3D物理场景生成、3D空间推理和3D空间交互。我们进一步检查了这些能力在实际应用中的部署，包括具身AI、自动驾驶、数字孪生和游戏/虚拟现实。最后，我们确定了数据、建模和部署方面的挑战，并概述了为实现更稳健和更通用的3D世界模型的未来方向。
引用
@article{arxiv.2506.20134,
title = {From 2D to 3D Cognition: A Brief Survey of General World Models},
author = {Ningwei Xie and Zizi Tian and Lei Yang and Xiao-Ping Zhang and Meng Guo and Jie Li},
journal= {arXiv preprint arXiv:2506.20134},
year = {2025}
}