基于 SfM-free 3D 高斯溶射框架的极稀疏视图新视角合成增强

3D 高斯溶射 (3DGS) 在新视角合成中展现出惊人的实时性能，但其有效性高度依赖于稠密多视图输入且相机姿态精确已知，这在现实场景中几乎不存在。在输入视角极度稀疏时，3DGS 依赖的结构从运动 (SfM) 方法用于初始化无法准确重建场景的三维几何结构，导致渲染质量下降。本文提出一种基于 SfM-free 3DGS 的新方法，联合估计相机姿态并从极稀疏视图输入中重建三维场景。具体而言，取代 SfM，我们提出密集立体模块逐步估计相机姿态信息并构建全局稠密点云用于初始化。为解决极稀疏视图设置中信息稀缺的固有问题，我们提出一致性视角插值模块，基于训练视图对进行相机姿态插值并生成视点一致的内容作为额外监督信号用于训练。此外，我们引入多尺度拉普拉斯一致正则化和自适应空间感知多尺度几何正则化以提升几何结构和渲染内容的质量。实验表明，我们的方法在其他基于 3DGS 的最先进方法上显著优于， 在极稀疏视角条件下（仅使用 2 个训练视图）实现 PSNR 提升 2.75 dB。我们方法合成的图像在保持丰富高频细节的同时几乎无畸变，视觉质量优于现有技术。