WE-GS：一种用于无约束照片集合的高效三维高斯表示
计算机视觉与模式识别
2024-06-05 v1
摘要
从无约束照片集合进行新视图合成（Novel View Synthesis, NVS）在计算机图形学中具有挑战性。最近，三维高斯溶解（3D Gaussian Splatting, 3DGS）在静态场景的逼真 photorealistic 渲染和实时 NVS 方面显示出前景。基于 3DGS，我们提出了一种高效的基于点的可微渲染框架，用于从照片集合进行场景重建。我们的关键创新是一种基于残差的球面调和系数迁移模块，用于适应不同光照条件和光度后处理。这个轻量级模块可以预计算，确保从渲染图像到 3D 高斯属性的高效梯度传播。此外，我们观察到，无约束照片集合的 NVS 中，外观编码器和瞬态掩码预测器这两个最关键的部分可以相互受益。我们引入一个即插即用的数据轻量级空间注意力模块，用于同时预测每个图像的瞬态遮挡器和潜在外观表示。训练和预处理后，我们的方法与标准 3DGS 格式和渲染管线一致，促进了在各种 3DGS 应用中的无缝集成。在多样化数据集上的大量实验表明，我们的方法在新视角和外观合成的渲染质量方面优于现有方法，收敛速度和渲染速度都很高。
引用
@article{arxiv.2406.02407,
title = {WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections},
author = {Yuze Wang and Junyi Wang and Yue Qi},
journal= {arXiv preprint arXiv:2406.02407},
year = {2024}
}
备注
Our project page is available at https://yuzewang1998.github.io/we-gs.github.io/