面向真实场景的不确定性感知正则化4D高斯散射

动态场景的新视角合成在增强现实和虚拟现实等各种应用中变得越来重要。我们提出了一种面向随意录制的单目视频中动态场景的新颖4D高斯散射(4DGS)算法。为克服现有工作在真实视频中的过拟合问题，我们引入了不确定性感知正则化，该方法识别观测稀疏的不确定区域，并在这些区域选择性地施加基于扩散模型和深度平滑性的额外先验。该方法同时提升了新视角合成性能和训练图像重建质量。我们还发现了4DGS在快速运动动态区域中的初始化问题，即运动恢复结构(SfM)算法无法提供可靠的3D关键点。为在这些区域初始化高斯基元，我们提出了一种利用估计深度图和场景流的动态区域稠密化方法。实验表明，该方法提升了手持单目相机拍摄视频的4DGS重建性能，在少样本静态场景重建中也展现出良好效果。