用于少样本新视角合成的自集成高斯溅射
计算机视觉与模式识别
2025-03-13 v3 图形学
摘要
3D高斯溅射（3DGS）在新视角合成（NVS）中已展现出显著的有效性。然而，3DGS在稀疏视图训练时倾向于过拟合，从而限制了其对新视角的泛化能力。在本文中，我们通过引入自集成高斯溅射（SE-GS）来解决这一过拟合问题。我们通过在训练过程中纳入一种不确定性感知扰动策略来实现自集成。一个-模型和一个-模型在可用图像上联合训练。-模型根据训练步骤中的渲染不确定性进行动态扰动，生成具有可忽略计算开销的多样化扰动模型。在整个训练过程中，-模型与这些扰动模型之间的差异被最小化，从而形成一个鲁棒的3DGS模型集成。该集成由-模型表示，然后在推理阶段用于生成新视角图像。在LLFF、Mip-NeRF360、DTU和MVImgNet数据集上的实验结果表明，我们的方法在少样本训练条件下增强了NVS质量，超越了现有的最先进方法。代码已发布于：https://sailor-z.github.io/projects/SEGS.html。
引用
@article{arxiv.2411.00144,
title = {Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis},
author = {Chen Zhao and Xuan Wang and Tong Zhang and Saqib Javed and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2411.00144},
year = {2025}
}