SimWorld-Robotics: 合成逼真动态城市环境以实现多模态机器人导航与协作
人工智能
2026-01-27 v3
摘要
基础模型的最新进展在开发通用机器人方面展现了有前景的结果，这些机器人能够在开放场景中给定多模态输入执行多样化任务。然而，现有工作主要聚焦于室内家庭场景。在本工作中，我们提出了SimWorld-Robotics（SWR），一个用于大规模、逼真城市环境中具身AI的仿真平台。基于Unreal Engine 5构建，SWR程序化地生成无限逼真的城市场景，其中包含行人和交通系统等动态元素，在真实感、复杂性和可扩展性方面超越 prior 的城市仿真。它还支持多机器人控制与通信。凭借这些关键特性，我们构建了两个具有挑战性的机器人基准：（1）一个多模态指令跟随任务，机器人必须在存在行人和交通的情况下遵循视觉-语言导航指令到达目的地；（2）一个多智能体搜索任务，两个机器人必须通信以协作定位并相遇。与现有基准不同，这两个新基准全面评估了真实场景中广泛的关键机器人能力，包括（1）多模态指令接地，（2）大规模环境中的3D空间推理，（3）伴随人员和交通的安全长距离导航，（4）多机器人协作，以及（5）接地通信。我们的实验结果表明，包括视觉-语言模型（VLM）在内的最先进模型在我们的任务上表现不佳，缺乏城市环境所需的稳健感知、推理和规划能力。
引用
@article{arxiv.2512.10046,
title = {SimWorld-Robotics: Synthesizing Photorealistic and Dynamic Urban Environments for Multimodal Robot Navigation and Collaboration},
author = {Yan Zhuang and Jiawei Ren and Xiaokang Ye and Jianzhi Shen and Ruixuan Zhang and Tianai Yue and Muhammad Faayez and Xuhong He and Ziqiao Ma and Lianhui Qin and Zhiting Hu and Tianmin Shu},
journal= {arXiv preprint arXiv:2512.10046},
year = {2026}
}
备注
Conference: NeurIPS 2025 (main)