基于高斯溅写的参考式可控场景风格化
计算机视觉与模式识别
2024-07-11 v1 图形学
摘要
参考式场景风格化是指根据内容对齐的参考图像编辑场景外观的研究方向。目前方法通常基于预训练的神经辐射场（NeRF），学习与给定风格匹配的新外观。尽管这些方法有效，但本质上存在耗时的体积渲染，难以满足许多实时应用的需求。本文提出ReGS方法，适用于参考式风格化，以实现实时风格化视图合成。对预训练的3D高斯溅写进行外观编辑具有挑战性，因为其离散高斯作为3D表示，紧密地将外观与几何结构绑定在一起。仅优化外观（如现有方法）往往不足以建模给定参考图像中的连续纹理。为解决此问题，本文提出一种新颖的纹理引导控制机制，自适应调整负责局部的高斯，以适应新的几何布局，从而实现所需的纹理细节。该过程依据纹理线索进行有效的外观编辑，并通过场景深度进行正则化，以保留原始几何结构。通过这些创新设计，ReGS能够在尊重参考纹理的同时，免费实现实时渲染速度，实现最先进的风格化效果。
引用
@article{arxiv.2407.07220,
title = {Reference-based Controllable Scene Stylization with Gaussian Splatting},
author = {Yiqun Mei and Jiacong Xu and Vishal M. Patel},
journal= {arXiv preprint arXiv:2407.07220},
year = {2024}
}