SafeguardGS:在避免灾难性场景破坏的同时对3D高斯原始素进行修剪
计算机视觉与模式识别
2024-11-26 v2
摘要
3D高斯溶解(3DGS)在新视角合成方面取得了显著进展。然而,其次优的密集化过程导致高斯原始素数量过大,影响帧率并增加内存使用,不适用于低端设备。为此,许多后续研究提出了各种修剪技术,设计评分函数以识别和删除不重要的原始素。然而,目前缺乏对所有技术有效性和影响的全面讨论。本文首次将3DGS修剪技术分为两种类型:场景级修剪和像素级修剪,区别在于其对对原始素排名的范围。我们的后续实验表明,尽管场景级修剪在对3DGS场景进行极端稀释时会导致质量损失灾难性下降,像素级修剪不仅能维持相对高的渲染质量,同时实现微小的性能降级,还提供了原始素修剪的内在边界,即3D高斯修剪的保护。基于这一观察,我们进一步提出了基于渲染方程因素的多个评分函数变体,发现基于颜色相似性并带有混合权重的评估方法对于判别不重要的原始素最为有效。在我们的实验中, SafeguardGS 使用最佳评分函数,在极端修剪设置下实现了最高的PSNR-每-原始素性能,仅保留来自原始3DGS场景约10%的原始素(即10倍压缩比)。我们认为我们的研究为优化3DGS的未来工作提供了宝贵的见解。
引用
@article{arxiv.2405.17793,
title = {SafeguardGS: 3D Gaussian Primitive Pruning While Avoiding Catastrophic Scene Destruction},
author = {Yongjae Lee and Zhaoliang Zhang and Deliang Fan},
journal= {arXiv preprint arXiv:2405.17793},
year = {2024}
}
备注
19 pages, 20 figures, 7 tables