中文

PNeSM:基于提示的神经风格映射实现任意三维场景风格化

计算机视觉与模式识别 2024-03-14 v1

摘要

三维场景风格化是指变换三维场景的外观以匹配给定的风格图像,确保从不同视点渲染的图像呈现出与给定风格图像相同的风格,同时保持风格化场景的三维一致性。现有若干方法已在三维场景风格化方面取得了令人瞩目的成果。然而,这些方法提出的模型在应用于新场景时需要重新训练。换言之,它们的模型与特定场景耦合,无法适应其他任意场景。为解决此问题,我们提出一种新颖的三维场景风格化框架,可将任意风格迁移至任意场景,无需任何与风格相关或与场景相关的重新训练。具体而言,我们首先将三维场景的外观映射到一个二维风格模式空间,这实现了三维场景几何与外观的完全解耦,并使我们的模型能够泛化到任意三维场景。然后,我们通过一种基于提示的二维风格化算法,在该二维风格模式空间中对三维场景的外观进行风格化。实验结果表明,我们提出的框架在视觉质量和泛化能力上均优于SOTA方法。

关键词

引用

@article{arxiv.2403.08252,
  title  = {PNeSM: Arbitrary 3D Scene Stylization via Prompt-Based Neural Style Mapping},
  author = {Jiafu Chen and Wei Xing and Jiakai Sun and Tianyi Chu and Yiling Huang and Boyan Ji and Lei Zhao and Huaizhong Lin and Haibo Chen and Zhizhong Wang},
  journal= {arXiv preprint arXiv:2403.08252},
  year   = {2024}
}

备注

Accepted to AAAI 2024