结合生成先验的稀疏视角野外3D高斯泼溅方法SparseGS-W
计算机视觉与模式识别
2026-02-02 v1
摘要
从不受约束的野外图像合成大规模场景的新视角是计算机视觉中重要但具有挑战性的任务。现有方法通过隐式神经网络从密集训练视角（约1000张图像）优化每张图像的外观和瞬态遮挡，在稀疏输入条件下难以有效执行，导致明显的伪影。为此，我们提出SparseGS-W，一种基于3D高斯泼溅的新框架，能够重建复杂的室外场景，并仅用五张训练图像处理遮挡和外观变化。我们利用几何先验和约束扩散先验来补偿极端稀疏输入下多视角信息的缺失。具体来说，我们提出一个即插即用的约束新视角增强模块，在高斯优化过程中迭代提升渲染新视角的质量。此外，我们提出一个遮挡处理模块，利用约束扩散先验固有的高质量修复能力灵活地移除遮挡。两个模块都能从用户提供的任意参考图像中提取外观特征，从而灵活建模光照一致的场景。在PhotoTourism和Tanks and Temples数据集上的大量实验表明，SparseGS-W不仅在完整参考指标上，而且在常用的非参考指标如FID、ClipIQA和MUSIQ上均达到最先进性能。
引用
@article{arxiv.2503.19452,
title = {SparseGS-W: Sparse-View 3D Gaussian Splatting in the Wild with Generative Priors},
author = {Yiqing Li and Xuan Wang and Jiawei Wu and Yikun Ma and Zhi Jin},
journal= {arXiv preprint arXiv:2503.19452},
year = {2026}
}