通过局部化点管理改进高斯泼溅
计算机视觉与模式识别
2025-04-22 v3
摘要
点管理对于优化3D高斯泼溅模型至关重要,因为点初始化(例如通过运动恢复结构)通常在分布上不合适。通常采用自适应密度控制(ADC)算法,利用视图平均梯度幅度阈值进行点稠密化、不透明度阈值进行剪枝以及定期对所有点进行不透明度重置。我们揭示出,这种策略在处理复杂/特殊图像区域(例如透明区域)时存在局限性,因为它无法识别所有需要点稠密化的3D区域,并且缺乏适当的机制来处理具有负面影响(例如由于错误的高不透明度导致的遮挡)的病态点。为了解决这些局限性,我们提出了一种局部化点管理(LPM)策略,能够识别那些最需要点添加和几何校准的错误贡献区域。区域识别是通过利用底层多视图几何约束,结合图像渲染误差来实现的。我们在识别出的区域进行点稠密化,然后重置这些区域前方点的不透明度,为纠正病态点创造了新的机会。作为一种通用插件,LPM可以以最小的额外成本无缝集成到现有的静态3D和动态4D高斯泼溅模型中。实验评估验证了我们的LPM在定量和定性上提升多种现有3D/4D模型的有效性。值得注意的是,LPM改进了静态3DGS和动态SpaceTimeGS,实现了最先进的渲染质量,同时保持了实时速度,在具有挑战性的数据集(如Tanks & Temples和Neural 3D Video数据集)上表现出色。
引用
@article{arxiv.2406.04251,
title = {Improving Gaussian Splatting with Localized Points Management},
author = {Haosen Yang and Chenhao Zhang and Wenqing Wang and Marco Volino and Adrian Hilton and Li Zhang and Xiatian Zhu},
journal= {arXiv preprint arXiv:2406.04251},
year = {2025}
}
备注
CVPR 2025 (Highlight). Github: https://happy-hsy.github.io/projects/LPM/