CoherentGS：基于相干 3D 高斯的稀疏新视角合成

近年来，从图像进行 3D 重建的领域发展迅速，首先是神经辐射场（NeRF）的引入，最近又出现了 3D Gaussian Splatting（3DGS）。后者在训练和推理速度以及重建质量方面均明显优于 NeRF。尽管 3DGS 对密集输入图像效果良好，但在极稀疏输入图像（例如 3 张图像）这种更具挑战性的设置下，非结构化的点云状表示会迅速过拟合，生成在新视角下表现为一团乱针的表示。为了解决这个问题，我们提出了正则化优化和基于深度的初始化。我们的核心思想是引入一种可在 2D 图像空间中控制的结构化高斯表示。然后我们对高斯进行约束，特别是其位置，防止它们在优化过程中独立移动。具体而言，我们分别通过隐式卷积解码器和全变分损失引入了单视图和多视图约束。通过引入高斯的相干性，我们进一步通过基于流的损失函数来约束优化。为了支持我们的正则化优化，我们提出了一种在每个输入视图使用单目深度估计来初始化高斯的方法。我们在多种场景中展示了相比最先进的基于稀疏视图 NeRF 的方法的显著改进。