基于神经补偿的谱修剪高斯场
计算机视觉与模式识别
2024-05-02 v1
摘要
最近，3D 高斯溶解作为一种新型 3D 表示，因其快速渲染速度和高渲染质量而受到关注。然而，这伴随着高内存消耗，例如，一个训练良好的高斯场可能使用三百万个高斯原语并占用超过 700 MB 的内存。我们将这种高内存占用归因于未考虑原语之间的关系。本文提出了一种名为 SUNDAE 的内存高效高斯场，采用谱修剪和神经补偿。一方面，我们在高斯原语集合上构建图来建模它们的关系，并设计谱下采样模块在保留所需信号的同时修剪原语。另一方面，为补偿修剪高斯导致的质量损失，我们利用轻量级神经网络头部混合溶射特征，这有效地补偿了质量损失，同时通过其权重捕捉原语之间的关系。我们通过大量实验展示了 SUNDAE 的性能。例如，在 Mip-NeRF360 数据集上，SUNDAE 在 145 FPS 下使用 104 MB 内存实现 26.80 PSNR，而 vanilla 高斯溶解算法在 160 FPS 下使用 523 MB 内存实现 25.60 PSNR。代码已公开于 https://runyiyang.github.io/projects/SUNDAE/。
引用
@article{arxiv.2405.00676,
title = {Spectrally Pruned Gaussian Fields with Neural Compensation},
author = {Runyi Yang and Zhenxin Zhu and Zhou Jiang and Baijun Ye and Xiaoxue Chen and Yifei Zhang and Yuantao Chen and Jian Zhao and Hao Zhao},
journal= {arXiv preprint arXiv:2405.00676},
year = {2024}
}
备注
Code: https://github.com/RunyiYang/SUNDAE Project page: https://runyiyang.github.io/projects/SUNDAE/