MVPGS：从稀疏输入视角中挖掘用于高斯泼溅的多视角先验
计算机视觉与模式识别
2024-09-24 v1
摘要
近期，神经辐射场（NeRF）的进展促进了少样本新视角合成（NVS），这是 3D 视觉应用中的一项重大挑战。尽管已有诸多尝试以降低 NeRF 对密集输入的需求，但其训练和渲染过程仍存在耗时问题。最近，3D 高斯泼溅（3DGS）凭借显式的基于点的表示实现了实时高质量渲染。然而，与 NeRF 类似，由于缺乏约束，它容易对训练视角过拟合。本文提出 \textbf{MVPGS}，一种基于 3D 高斯泼溅并挖掘多视角先验的少样本 NVS 方法。我们利用近期基于学习的多视角立体视觉（MVS）来提升 3DGS 几何初始化的质量。为缓解过拟合，我们提出了一种前向变形方法，基于计算所得的几何为符合场景的额外外观约束提供支持。此外，我们引入了针对高斯参数的视角一致性几何约束，以促进适当的优化收敛，并利用单目深度正则化作为补偿。实验表明，所提方法以实时渲染速度实现了 SOTA 性能。项目页面：https://zezeaaa.github.io/projects/MVPGS/
引用
@article{arxiv.2409.14316,
title = {MVPGS: Excavating Multi-view Priors for Gaussian Splatting from Sparse Input Views},
author = {Wangze Xu and Huachen Gao and Shihe Shen and Rui Peng and Jianbo Jiao and Ronggang Wang},
journal= {arXiv preprint arXiv:2409.14316},
year = {2024}
}
备注
Accepted by ECCV 2024, Project page: https://zezeaaa.github.io/projects/MVPGS/