Ref-NPR：基于参考的非真实感辐射场可控场景风格化方法
计算机视觉与模式识别
2023-03-28 v2
摘要
当前的三维场景风格化方法使用任意风格参考来迁移纹理与颜色作为风格，缺乏有意义的语义对应。我们提出基于参考的非真实感辐射场（Ref-NPR）以解决这一局限。该可控方法利用辐射场并以单张风格化 2D 视图作为参考来对三维场景进行风格化。我们提出一种基于风格化参考视图的光线配准过程，以在新视角下获得伪光线监督。随后，我们利用内容图像中的语义对应，以感知上相似的风格填充被遮挡区域，从而生成非真实感且连续的新视角序列。实验结果表明，Ref-NPR 在视觉质量与语义对应方面优于现有的场景与视频风格化方法。代码与数据已在项目页面 https://ref-npr.github.io 公开。
引用
@article{arxiv.2212.02766,
title = {Ref-NPR: Reference-Based Non-Photorealistic Radiance Fields for Controllable Scene Stylization},
author = {Yuechen Zhang and Zexin He and Jinbo Xing and Xufeng Yao and Jiaya Jia},
journal= {arXiv preprint arXiv:2212.02766},
year = {2023}
}
备注
Accepted by CVPR2023. 17 pages, 20 figures. Project page: https://ref-npr.github.io, Code: https://github.com/dvlab-research/Ref-NPR