Spec-Gaussian：面向3D高斯泼溅的各向异性视角依赖外观
计算机视觉与模式识别
2024-10-03 v2
摘要
3D高斯泼溅（3D-GS）的最新进展不仅通过现代GPU光栅化流水线实现了实时渲染，还达到了最先进的渲染质量。然而，尽管在标准数据集上具有卓越的渲染质量和性能，3D-GS在精确建模镜面反射和各向异性分量方面经常遇到困难。这个问题源于球谐函数（SH）表示高频信息的能力有限。为了克服这一挑战，我们引入了Spec-Gaussian，一种利用各向异性球高斯（ASG）外观场替代SH来建模每个3D高斯视角依赖外观的方法。此外，我们开发了一种由粗到精的训练策略，以提高学习效率并消除真实场景中因过拟合而产生的漂浮物。我们的实验结果表明，我们的方法在渲染质量上超越了现有方法。得益于ASG，我们在不增加3D高斯数量的情况下，显著提升了3D-GS建模具有镜面反射和各向异性分量的场景的能力。这一改进将3D-GS的应用范围扩展到处理具有镜面反射和各向异性表面的复杂场景。项目页面为https://ingra14m.github.io/Spec-Gaussian-website/。
引用
@article{arxiv.2402.15870,
title = {Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting},
author = {Ziyi Yang and Xinyu Gao and Yangtian Sun and Yihua Huang and Xiaoyang Lyu and Wen Zhou and Shaohui Jiao and Xiaojuan Qi and Xiaogang Jin},
journal= {arXiv preprint arXiv:2402.15870},
year = {2024}
}
备注
Accepted by NeurIPS 2024