DeferredGS: 使用延迟着色的解耦与可编辑高斯泼溅
计算机视觉与模式识别
2024-05-24 v2
摘要
重建和编辑 3D 物体与场景在计算机图形学和计算机视觉中都扮演着至关重要的角色。神经辐射场 能够实现逼真的重建和编辑结果,但在渲染效率上存在不足。高斯泼溅通过对高斯椭球进行光栅化,显著加速了渲染过程。然而,高斯泼溅利用单一的球谐 函数同时对纹理和光照进行建模,限制了这些组件的独立编辑能力。最近,人们尝试利用高斯泼溅表示来解耦纹理和光照,但在反射场景上可能无法产生合理的几何和分解结果。此外,它们所采用的前向着色技术在重照明期间会引入明显的混合伪影,因为高斯的几何属性是在原始光照下优化的,可能不适用于新的光照条件。为了解决这些问题,我们引入了 DeferredGS,这是一种使用延迟着色来解耦和编辑高斯泼溅表示的方法。为了实现成功的解耦,我们使用可学习的环境贴图对光照进行建模,并在高斯上定义了纹理参数和法线方向等附加属性,其中法线是从联合训练的符号距离函数中蒸馏出来的。更重要的是,我们应用了延迟着色,与以前的方法相比,产生了更逼真的重照明效果。定性和定量实验均证明了 DeferredGS 在新视角合成和编辑任务中的优越性能。
引用
@article{arxiv.2404.09412,
title = {DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading},
author = {Tong Wu and Jia-Mu Sun and Yu-Kun Lai and Yuewen Ma and Leif Kobbelt and Lin Gao},
journal= {arXiv preprint arXiv:2404.09412},
year = {2024}
}