基于残差采样的矩阵-free 高斯溅二阶优化
计算机视觉与模式识别
2026-01-27 v3
摘要
3D 高斯溅 (3DGS) 因其高渲染质量和快速推理时间而在新视角合成中广泛应用。然而，3DGS 主要依赖如 Adam 等一阶优化器，导致训练时间较长。为解决这一局限性，我们提出一种基于 Levenberg-Marquardt (LM) 和共轭梯度 (CG) 的专为高斯溅设计的新型二阶优化策略。我们的关键洞察是，3DGS 中的雅可比矩阵 exhibits significant sparsity since each Gaussian affects only a limited number of pixels。我们通过提出一种矩阵-free 和 GPU 并行化的 LM 优化来利用这种稀疏性。为进一步提高效率，我们提出了针对摄像机视角和损失函数（以及随之而来的正规方程）的采样策略，从而显著降低计算复杂度。此外，我们引入一种有效的启发式方法来确定学习率，以避免使用线搜索方法的高昂计算成本。结果表明，我们的方法在标准 LM 上实现 4 倍加速，同时在高斯数量较低时超过 Adam 约 5 倍，在中等数量时提供约 1.3 倍的加速。此外，我们的矩阵-free 实现相对于并发的二阶优化器 3DGS-LM 实现 2 倍加速，同时使用 3.5 倍更少的内存。项目页面: https://vcai.mpi-inf.mpg.de/projects/LM-RS/
引用
@article{arxiv.2504.12905,
title = {Matrix-free Second-order Optimization of Gaussian Splats with Residual Sampling},
author = {Hamza Pehlivan and Andrea Boscolo Camiletto and Lin Geng Foo and Marc Habermann and Christian Theobalt},
journal= {arXiv preprint arXiv:2504.12905},
year = {2026}
}