基于匹配先验的结构一致高斯溅射用于少样本新视角合成

尽管新视角合成取得了实质性进展，但基于神经辐射场（NeRF）或近期基于三维高斯溅射（3DGS）的方法在输入稀疏时仍会出现显著退化。已引入大量努力来缓解此问题，但它们仍难以高效合成满意的结果，尤其是在大场景中。在本文中，我们提出了 SCGaussian，一种使用匹配先验学习三维一致场景结构的结构一致高斯溅射方法。考虑到高斯属性的高度相互依赖性，我们在两个层面优化场景结构：渲染几何，以及更重要的是高斯基元的位置——后者在 vanilla 3DGS 中由于非结构特性而难以直接约束。为实现这一点，我们提出了一种混合高斯表示。除了一般的非结构高斯基元外，我们的模型还包含与匹配光线绑定的基于光线的高斯基元，其位置的优化被限制在光线方向上。因此，我们可以利用匹配对应直接强制这些高斯基元的位置收敛到光线与表面相交的点。在前向视角、环绕场景和复杂大场景上的大量实验证明了我们方法的有效性，具有最先进的性能和高效率。代码可在 https://github.com/prstrive/SCGaussian 获取。