AugGS：用于稀疏视角三维重建的自增强高斯模型及结构掩码
计算机视觉与模式识别
2025-01-03 v4 人工智能
摘要
稀疏视角三维重建是计算机视觉中的重要挑战，旨在从有限的观察角度创建完整的三维模型。关键障碍包括：1）输入图像数量少且信息不一致；2）依赖于输入图像质量；3）模型参数规模大。为解决这些问题，我们提出了一种基于结构掩码的自增强双阶段高斯溅射框架，用于稀疏视角三维重建。初始时，我们的方法从稀疏输入生成基本的3D高斯表示，并渲染多视角图像。随后，我们微调预训练的2D扩散模型以增强这些图像，将其作为增强数据进一步优化3D高斯。此外，训练期间的结构掩码策略可增强模型对稀疏输入和噪声的鲁棒性。在MipNeRF360、OmniObject3D和OpenIllumination等基准测试上实验表明，我们的方法在稀疏输入下的感知质量和多视角一致性方面达到最先进的性能。
引用
@article{arxiv.2408.04831,
title = {AugGS: Self-augmented Gaussians with Structural Masks for Sparse-view 3D Reconstruction},
author = {Bi'an Du and Lingbei Meng and Wei Hu},
journal= {arXiv preprint arXiv:2408.04831},
year = {2025}
}