GS³:基于三组高斯的高效阴影处理
计算机视觉与模式识别
2024-10-16 v1 图形学
摘要
我们提出了基于空间高斯和角向高斯的表示方法,以及三阶段喷溅过程,用于从多视图点光源输入图像实现实时、高质量的新光照和视角合成。为描述复杂的表面外观,我们采用Lambertian光照加上角向高斯混合模型作为每个空间高斯的有效反射函数。为生成自阴影,我们将所有空间高斯指向光源进行喷溅,以获得阴影值,并通过小型多层感知器(MLP)进行细化。为补偿其他效应如全局照明,另一个网络被训练用于计算并添加每个空间高斯的RGB元组。我们的表示在30个样本上效果显著,这些样本在几何(从实心到绒毛)和外观(从半透明到各向异性)方面具有广泛变化,同时也适用于不同形式的输入数据,包括合成/重建物体的渲染图像、使用手持相机和闪光灯拍摄的照片,或来自专业光照舱的数据。我们实现了40-70分钟的训练时间和每秒90帧的渲染速度(单块商品GPU)。我们的成果在质量和性能方面均优于最新技术。我们的代码和数据已公开发布于https://GSrelight.github.io/。
引用
@article{arxiv.2410.11419,
title = {GS^3: Efficient Relighting with Triple Gaussian Splatting},
author = {Zoubin Bi and Yixin Zeng and Chong Zeng and Fan Pei and Xiang Feng and Kun Zhou and Hongzhi Wu},
journal= {arXiv preprint arXiv:2410.11419},
year = {2024}
}
备注
Accepted to SIGGRAPH Asia 2024. Project page: https://gsrelight.github.io/