CityCraft: 真正的3D城市生成器
计算机视觉与模式识别
2024-06-10 v1
摘要
城市场景生成在自动驾驶、智慧城市发展和交通仿真中获得了显著关注。它有助于增强基础设施规划和监控解决方案。现有方法采用了两阶段流程，包括城市布局生成（通常使用变分自编码器(VAE)、生成对抗网络(GAN)或Transformer），随后进行神经渲染。这些技术往往在渲染的城市场景中表现出有限的多样性和明显的伪影。渲染场景缺乏多样性，与训练图像相似，导致风格单调。此外，这些方法缺乏规划能力，导致生成的场景不够真实。在本文中，我们介绍了CityCraft，一个旨在增强城市场景生成多样性和质量的创新框架。我们的方法整合了三个关键阶段：首先，部署扩散变换器(DiT)模型以生成多样且可控的二维城市布局。随后，利用大语言模型(LLM)根据用户提示和语言指南在这些布局中策略性地制定土地利用规划。基于生成的布局和城市规划，我们利用资产检索模块和Blender进行精确的资产放置和场景构建。此外，我们为该领域贡献了两个新数据集：1) CityCraft-OSM数据集，包含城市区域的二维语义布局、对应的卫星图像和详细标注；2) CityCraft-Buildings数据集，包含数千个多样、高质量的三维建筑资产。CityCraft在生成逼真的三维城市方面达到了最先进的性能。
引用
@article{arxiv.2406.04983,
title = {CityCraft: A Real Crafter for 3D City Generation},
author = {Jie Deng and Wenhao Chai and Junsheng Huang and Zhonghan Zhao and Qixuan Huang and Mingyan Gao and Jianshu Guo and Shengyu Hao and Wenhao Hu and Jenq-Neng Hwang and Xi Li and Gaoang Wang},
journal= {arXiv preprint arXiv:2406.04983},
year = {2024}
}
备注
20 pages, 9 figures