CityX：无界3D城市的可控程序化内容生成
计算机视觉与模式识别
2024-12-10 v4 人工智能
摘要
城市区域作为现代文明中主要的人类栖息地，容纳了广泛的社会活动。随着具身智能的兴起，近年来物理智能体（如自动驾驶车辆和投递机器人）在城市区域的存在感显著增加。因此，实践者极度重视构建真实、可用于仿真的3D城市，以便于训练和验证此类智能体。然而，这一任务颇具挑战性。当前的生成方法在多样性、可控性或保真度方面存在局限。本文采用程序化内容生成(PCG)技术实现高保真生成。该方法根据经验规则组装优质资产，最终导致工业级结果。为确保多样性和自包含创建，我们设计一种管理协议，以容纳具有不同功能和接口的广泛PCG插件。基于该统一PCG库，我们开发了一个多智能体框架，将多模态指令（包括OSM、语义图和卫星图像）转化为可执行程序。程序协调相关插件以构建符合控制条件的3D城市。引入可视化反馈方案以进一步细化初始结果。我们的方法称为CityX，能够在创造多样化、可控且逼真的3D城市场景方面显示优势。合成场景可无缝部署为实时仿真器和无限数据生成器，用于具身智能研究。我们的项目页面：https://cityx-lab.github.io。
引用
@article{arxiv.2407.17572,
title = {CityX: Controllable Procedural Content Generation for Unbounded 3D Cities},
author = {Shougao Zhang and Mengqi Zhou and Yuxi Wang and Chuanchen Luo and Rongyu Wang and Yiwei Li and Zhaoxiang Zhang and Junran Peng},
journal= {arXiv preprint arXiv:2407.17572},
year = {2024}
}