SplatFormer: 用于鲁棒三维高斯溅射的点变换器

三维高斯溅射 (3DGS) 近期革新了照片级真实感重建，实现了高视觉保真度和实时性能。然而，当测试视角偏离训练时使用的相机角度时，渲染质量会显著下降，这对沉浸式自由视角渲染和导航应用构成了重大挑战。在本工作中，我们对 3DGS 及相关新视角合成方法在分布外 (OOD) 测试相机场景下进行了全面评估。通过利用合成和真实世界数据集构建多样化的测试用例，我们证明大多数现有方法，包括采用各种正则化技术和数据驱动先验的方法，都难以有效泛化到 OOD 视角。为解决这一局限，我们提出了 SplatFormer，这是首个专门在高斯溅射上运行的点变换器模型。SplatFormer 以在有限训练视角下优化的初始 3DGS 集合作为输入，并通过单次前向传播对其进行细化，有效去除 OOD 测试视角中的潜在伪影。据我们所知，这是首次将点变换器直接应用于 3DGS 集合，超越了此前多场景训练方法的局限，后者推理时只能处理有限数量的输入视角。我们的模型在极端新视角下显著提升了渲染质量，在这些具有挑战性的场景中取得了最先进的性能，超越了多种 3DGS 正则化技术、面向稀疏视角合成的多场景模型以及基于扩散的框架。