MoDGS：基于深度先验的随意拍摄单目视频动态高斯泼溅
计算机视觉与模式识别
2025-05-20 v3
摘要
本文提出MoDGS，一种从随意拍摄的单目视频渲染动态场景新视图的新流程。先前的单目动态NeRF或高斯泼溅方法强烈依赖输入摄像头的快速运动来构建多视图一致性，但在摄像头静止或缓慢移动的随意拍摄输入视频上难以重建动态场景。为应对这一挑战，MoDGS采用最新的单视图深度估计方法来指导动态场景的学习。然后，提出一种新颖的3D感知初始化方法来学习合理的变形场，并提出一种新的鲁棒深度损失来指导动态场景几何的学习。综合实验表明，MoDGS能够仅从随意拍摄的单目视频渲染出高质量的动态场景新视图，显著优于现有方法。代码将公开。
引用
@article{arxiv.2406.00434,
title = {MoDGS: Dynamic Gaussian Splatting from Casually-captured Monocular Videos with Depth Priors},
author = {Qingming Liu and Yuan Liu and Jiepeng Wang and Xianqiang Lyv and Peng Wang and Wenping Wang and Junhui Hou},
journal= {arXiv preprint arXiv:2406.00434},
year = {2025}
}
备注
Accepted as a poster at ICLR. Project page: https://modgs.github.io