无界4D城市的组合生成模型

3D场景生成近年来受到广泛关注且取得了显著进展。相较于3D场景，生成4D城市更具挑战性，因为存在结构复杂、视觉多样的物体（如建筑和车辆），以及人类对城市环境失真的高度敏感。为此，我们提出CityDreamer4D，一种专为生成无界4D城市而设计的组合生成模型。我们的主要思想是：1）4D城市生成应将动态物体（如车辆）与静态场景（如建筑和道路）分离；2）4D场景中的所有物体应由用于建筑、车辆和背景stuff的不同类型的神经场组成。具体而言，我们提出了交通情景生成器和无界布局生成器，使用高度紧凑的BEV表示生成动态交通情景和静态城市布局。4D城市中的物体通过组合背景stuff、建筑和车辆的stuff导向和instance导向神经场来生成。为适应背景stuff和instance的不同特征，神经场使用定制的生成性哈希网格和周期位置嵌入作为场景参数化。此外，我们提供了一套全面的城市生成数据集，包括OSM、GoogleEarth和CityTopia。OSM数据集提供了多样化的真实世界城市布局，而GoogleEarth和CityTopia数据集提供了大规模、高质量的城市影像并包含3D实例标注。凭借其组合设计，CityDreamer4D支持实例编辑、城市风格化和城市仿真等多种下游应用，同时在生成逼真的4D城市方面实现了最先进的性能。