MoSca: 基于四维运动支架的随意视频动态高斯融合

我们引入了四维运动支架（MoSca），这是一种现代四维重建系统，旨在从野外随意采集的单目视频中重建并合成动态场景的新视角。为解决这一具有挑战性且不适定的逆问题，我们利用基础视觉模型的先验知识，将视频数据提升为一种新颖的运动支架表示，该表示紧凑且平滑地编码了潜在的运动/形变。随后，场景的几何与外观从形变场中解耦，通过全局融合锚定在MoSca上的高斯并进行高斯泼溅优化来编码。此外，无需任何其他位姿估计工具，即可通过光束法平差求解相机焦距和位姿。实验表明，该方法在动态渲染基准测试上达到了SOTA性能，并在真实视频上证明了其有效性。