基于高斯泼溅的单目视频自校准四维新视角合成

与神经辐射场(NeRF)相比，高斯泼溅(GS)显著提升了场景重建效率和新视角合成(NVS)的精度，尤其是在动态场景中。然而，当前的4D NVS方法，无论是基于GS还是NeRF，主要依赖COLMAP提供的相机参数，甚至利用COLMAP生成的稀疏点云进行初始化，这些参数和点云缺乏精度且耗时。这有时会导致动态场景表示效果不佳，尤其是在物体运动幅度大，或相机条件极端（如小平移结合大旋转）的场景中。一些研究通过同时优化相机参数和场景的估计，并利用从现成模型获得的深度、光流等额外信息进行监督。将这些未经验证的信息作为真值会降低鲁棒性和准确性，这在长单目视频（例如，超过数百帧）中经常发生。我们提出了一种新颖方法，通过相机参数的自校准来学习高保真度的4D GS场景表示。该方法包括提取能够稳健表示3D结构的2D点特征，并利用这些特征进行后续的相机参数和3D结构的联合优化，以实现整体的4D场景优化。通过在多个标准基准上进行的大量定量和定性实验结果，我们证明了该方法的准确性和时间效率。结果表明，该方法在4D新视角合成方面显著优于现有最先进方法。源代码即将在https://github.com/fangli333/SC-4DGS发布。