面向卫星图像的几何感知且可控的3D城市生成：Sat2RealCity
计算机视觉与模式识别
2025-11-17 v1
摘要
近期生成式建模的进展大幅提升了3D城市生成能力，使其在数字孪生、虚拟城市和大规模仿真等应用中发挥作用。然而，现有方法面临两个关键挑战：(1) 需要大规模3D城市资产进行监督训练，这些资产难以获取且成本高昂；(2)依赖语义图或高度图，这些图仅用于虚拟世界中建筑的生成，缺乏与真实世界外观的关联，限制了生成城市的真实感和可泛化性。为解决这些限制，我们提出Sat2RealCity，一个面向卫星图像的几何感知且可控的3D城市生成框架。不同于现有的城市级生成方法，Sat2RealCity基于单个建筑实体构建生成，能够利用3D对象生成的丰富先验知识和预训练模型，大幅降低对大规模3D城市资产的依赖。具体而言：(1)我们引入基于OSM的空间先验策略，以实现从空间拓扑到建筑实例的可解释几何生成；(2)我们设计了面向细粒度外观真实感和风格控制的外观导向可控建模机制；(3)我们构建了一个由MLLM驱动的语义导向生成管道，搭建语义解释与几何重建之间的桥梁。大量定量和定性实验表明，Sat2RealCity在结构一致性和外观真实感方面显著优于现有基准，为真实世界对齐的3D城市内容创建奠定了坚实基础。代码将很快公开。
引用
@article{arxiv.2511.11470,
title = {Sat2RealCity: Geometry-Aware and Appearance-Controllable 3D Urban Generation from Satellite Imagery},
author = {Yijie Kang and Xinliang Wang and Zhenyu Wu and Yifeng Shi and Hailong Zhu},
journal= {arXiv preprint arXiv:2511.11470},
year = {2025}
}