UrbanWorld：用于3D城市生成的城市世界模型

城市作为人类生活的基本环境，包含建筑、道路和植被等多样化的物理元素，这些元素不断与人、车辆等动态实体发生相互作用。创造逼真且具有交互性的3D城市环境对于培育AGI系统以及构建能够感知、决策并在真实环境中行动的AI智能体至关重要。然而，创建高保真度的3D城市环境通常需要设计师进行大量的人工工作，涉及细致的细节和复杂城市元素的表示。因此，自动实现这一目标仍是一个长期存在的挑战。针对这一问题，我们提出UrbanWorld，首个能够自动创建具有灵活控制条件的定制化、逼真且具有交互性的3D城市世界的生成式城市世界模型。UrbanWorld集成了生成管道中的四个关键阶段：从OSM数据或具有语义和高度图的城市布局进行灵活的3D布局生成、通过Urban MLLM进行城市场景设计、通过渐进式3D扩散实现可控的城市资产渲染，以及利用MLLM辅助的场景细化。我们对五个视觉指标进行了大量定量分析，表明UrbanWorld在生成逼真度上实现了最先进水平。接下来，我们提供关于UrbanWorld在文本和图像基提示下可控生成能力的定性结果。最后，我们通过展示智能体在所创建环境中的感知与导航，验证了这些环境的交互性。我们将UrbanWorld作为开源工具发布，地址为https://github.com/Urban-World/UrbanWorld。