StyleCity：大规模 3D 城市场景风格化

创建具有不同风格的大规模虚拟城市场景在本质上具有挑战性。为促进虚拟制作的原型并绕开复杂材料和照明设置的需求，我们引入了首个面向大规模城市场景的视觉与文本驱动纹理风格化系统，StyleCity。以图像和文本作为参考，StyleCity 以语义感知的方式对大规模城市场景的 3D 纹理网格进行风格化，并生成和谐的全景天空背景。为实现此目标，我们提出通过将 2D 视觉与文本先验传递到 3D 全局和局部的方式来对神经纹理场进行风格化。在 3D 风格化过程中，我们按不同层级逐步缩放输入 3D 场景的计划训练视图，以保持高质量的场景内容。随后，我们通过调整风格图像的尺度以适应训练视图的尺度来全局优化场景风格。此外，我们通过语义感知风格损失增强局部语义一致性，这对于照片级风格化至关重要。除了纹理风格化，我们进一步采用生成式扩散模型合成风格一致的全景天空图像，这提供了更沉浸式的氛围并辅助语义风格化过程。风格化后的神经纹理场可烘焙到任意分辨率的纹理中，实现与常规渲染管道的无缝集成，显著简化了虚拟制作原型流程。广泛的实验表明，我们的风格化场景在定性和定量性能以及用户偏好方面均显示出优势。