基于层次训练的无 SfM 3D 高斯溶解
计算机视觉与模式识别
2024-12-03 v1
摘要
标准的 3D 高斯溶解（3DGS）依赖于已知或预计算的相机姿态和稀疏点云，这些由结构从运动（SfM）预处理获得，用于初始化和增长 3D 高斯。我们提出一种新的无 SfM 3DGS（SFGS）方法，用于视频输入，消除对已知相机姿态和 SfM 预处理的需求。我们的方法引入了层次训练策略，对多个针对特定场景区域优化的 3D 高斯表示进行训练和合并，以整合到单个表示整个场景的 3DGS 模型中。为补偿大幅相机运动，我们利用视频帧插值模型。此外，我们纳入多源监督以减少过拟合并增强表示。实验结果表明，我们的方法显著优于最先进的无 SfM 新视角合成方法。在 Tanks and Temples 数据集上，我们将 PSNR 提升平均 2.25 dB，最佳场景中提升最高达 3.72 dB。在 CO3D-V2 数据集上，我们实现了平均 PSNR 提升 1.74 dB，最高提升达 3.90 dB。代码已公开于 https://github.com/jibo27/3DGS_Hierarchical_Training。
引用
@article{arxiv.2412.01553,
title = {SfM-Free 3D Gaussian Splatting via Hierarchical Training},
author = {Bo Ji and Angela Yao},
journal= {arXiv preprint arXiv:2412.01553},
year = {2024}
}