降低 3D 高斯溅写的内存占用
计算机视觉与模式识别
2024-06-26 v1
摘要
3D 高斯溅写提供了用于新视角合成的优异视觉质量,训练快速且实时渲染;然而,存储和传输的内存要求远超实际。我们首先分析了造成这一问题的原因,确定了三个主要存储可减少的领域:用于表示场景的 3D 高斯原始素数的数量、用于表示方向辐射的球面谐和系数的数量,以及存储高斯原始素属性所需的精度。我们为每个问题提出了解决方案。首先,我们提出一种高效的、分辨率感知的原始素数剪枝方法,将原始素数计数减半。其次,我们引入一种自适应调整方法,用于为每个 3D 高斯原始素数选择表示方向辐射的系数数量。最后,我们提出一种基于码本的量化方法,结合半浮点表示进一步降低内存。综合这三个组件后,我们在测试的标准数据集上实现了整体尺寸降低 27 倍,并将渲染速度提升 1.7 倍。我们在标准数据集上展示了该方法,并显示出在移动设备上使用本方法可显著缩短下载时间。
引用
@article{arxiv.2406.17074,
title = {Reducing the Memory Footprint of 3D Gaussian Splatting},
author = {Panagiotis Papantonakis and Georgios Kopanas and Bernhard Kerbl and Alexandre Lanvin and George Drettakis},
journal= {arXiv preprint arXiv:2406.17074},
year = {2024}
}
备注
Project website: https://repo-sam.inria.fr/fungraph/reduced_3dgs/