基于深度感知的 3D 高斯溅射的少样本新视角合成

3D 高斯溅射（3D Gaussian splatting）已凭借更低的计算成本和实时高质量渲染，超过了神经辐射场方法在新视角合成方面的表现。尽管它在大量输入视图下能产生高质量渲染，但在仅少数几张视图可用时性能会显著下降。本文提出了一种针对少样本新视角合成的深度感知高斯溅射方法。我们利用单目深度预测作为先验，结合尺度不变深度损失，对仅凭少数输入视图即可约束 3D 形状。我们还使用低阶球面谐波来建模颜色，以避免过拟合。进一步，我们注意到原工作中定期删除低不透明度的 splat 导致点云非常稀疏，从而降低渲染质量。为此，我们保留所有 splat，从而在少量视角设置下实现更好的重建。实验结果表明，我们的方法在传统 3D 高斯溅射方法上实现了 10.5% 的峰信噪比提升、6% 的结构相似性指数提升和 14.1% 的感知相似性提升，从而验证了我们方法的有效性。代码将在 https://github.com/raja-kumar/depth-aware-3DGS 公开。