StyleMesh：面向室内三维场景重建的风格迁移

我们将风格迁移应用于室内场景的网格重建。这使得诸如以喜爱艺术家的风格体验三维环境等 VR 应用成为可能。风格迁移通常在二维图像上操作，使得网格的风格化具有挑战性。当在多种视角下优化时，风格化图案会被拉伸且在尺寸上不一致。另一方面，现有的基于模型的三维风格迁移方法允许从稀疏图像集进行风格化，但它们在推理时需要一个网络。为此，我们为场景重建的网格优化显式纹理，并从所有可用输入图像联合对其进行风格化。我们基于深度和角度的优化利用底层网格的表面法线与深度数据，为整个场景创建均匀且一致的风格化。我们的实验表明，我们的方法为完整场景生成清晰且细致的结果，且无视角相关伪影。通过大量消融研究，我们表明所提出的三维感知使得风格迁移能够应用于网格的三维域。我们的方法可用于通过传统渲染管线实时渲染风格化网格。