Splat-SAP：面向人类居中场景的 feed-forward 高斯溅射与尺度感知点图重建

我们提出了 Splat-SAP，一种用于从稀疏的双目相机渲染人类居中场景新视角的 feed-forward 方法。虽然高斯溅射在渲染任务中展现出巨大的潜力，但通常需要密集输入视图进行逐场景优化。虽然一些最近的方法通过多视图立体声几何先验实现了 feed-forward 高斯溅射渲染，但这些方法仍需要大范围重叠的输入视图来建立几何先验。为弥合这一差距，我们利用像素级点图重建来表示几何信息，该方法因独立视图建模而对稀疏性具有鲁棒性。总体而言，我们提出了两阶段学习策略。在阶段 1 中，我们通过迭代亲和学习过程将点图转换为实际坐标空间，从而便于后续的相机控制。在阶段 2 中，我们将两个输入视图的点图投影到目标视图平面，并通过立体匹配对该几何进行细化。进而，在该细化平面上锚定高斯原始点，以实现高质量图像渲染。作为度量表示，阶段 1 的尺度感知点图以自监督方式训练，无需 3D 监督；阶段 2 则使用光度损失进行监督。我们收集了多视图人类居中数据，证明该方法在点图重建稳定性和自由视点渲染视觉质量方面均取得改进。