放宽 3D 高斯渲染的精确初始化约束
计算机视觉与模式识别
2024-05-29 v2
摘要
3D 高斯渲染(3DGS)最近在实时新视角合成和 3D 重建方面展现出惊人的能力。然而,3DGS 严重依赖于由结构-运动(SfM)方法派生的精确初始化。当初始点云质量恶化(例如存在噪声或使用随机初始化点云时),3DGS 常常出现显著性能下降。为此,我们提出一种新型优化策略,称为 RAIN-GS(Relaxing Accurate Initialization Constraint for 3D Gaussian Splatting)。我们的方法基于对原始 3DGS 优化方案和 SfM 初始化进行频域分析。通过基于我们分析结果的简单修改,RAIN-GS 成功训练来自次优点云(例如随机初始化点云)的 3D 高斯,有效放宽了对精确初始化的需求。我们通过多个数据集上的定量和定性比较证明了该策略的有效性,其中使用随机点云训练的 RAIN-GS 在性能上与使用精确 SfM 点云训练的 3DGS 相当,甚至更好。我们的项目页面和代码可在 https://ku-cvlab.github.io/RAIN-GS 查找。
引用
@article{arxiv.2403.09413,
title = {Relaxing Accurate Initialization Constraint for 3D Gaussian Splatting},
author = {Jaewoo Jung and Jisang Han and Honggyu An and Jiwon Kang and Seonghoon Park and Seungryong Kim},
journal= {arXiv preprint arXiv:2403.09413},
year = {2024}
}
备注
Project Page: https://ku-cvlab.github.io/RAIN-GS