中文

CityDreamer:无界 3D 城市的组合式生成模型

计算机视觉与模式识别 2024-06-07 v3

摘要

3D 城市生成是一项令人向往却具挑战性的任务,因为人类对城市环境中的结构畸变更为敏感。此外,3D 城市生成比 3D 自然场景更复杂,因为作为同一类别物体的建筑,相较于自然场景中树木等外观相对一致的对象,呈现出更广泛的外观变化。为应对这些挑战,我们提出 \textbf{CityDreamer},一种专为无界 3D 城市设计的组合式生成模型。我们的核心见解是,3D 城市生成应是不同类型神经场的组合:1) 各种建筑实例,以及 2) 背景素材,如道路与绿地。具体而言,我们采用鸟瞰图场景表示,并对面向实例与面向素材的神经场均使用体渲染。生成式哈希网格与周期位置嵌入被定制为场景参数化,以适配建筑实例与背景素材的不同特性。此外,我们贡献了一系列 CityGen 数据集(包括 OSM 与 GoogleEarth),其包含大量真实世界城市影像,以增强所生成 3D 城市在布局与外观上的真实感。CityDreamer 不仅在生成逼真 3D 城市上达到最先进性能,亦支持在生成城市中的局部编辑。

关键词

引用

@article{arxiv.2309.00610,
  title  = {CityDreamer: Compositional Generative Model of Unbounded 3D Cities},
  author = {Haozhe Xie and Zhaoxi Chen and Fangzhou Hong and Ziwei Liu},
  journal= {arXiv preprint arXiv:2309.00610},
  year   = {2024}
}

备注

CVPR 2024. Project page: https://haozhexie.com/project/city-dreamer