基于单目视频的动态 3D 高斯渲染的稳健运动自适应样条——SplineGS
计算机视觉与模式识别
2024-12-19 v2
摘要
从野生单目视频中合成新视角因场景动态和缺乏多视角线索而具有挑战。为此，我们提出了 SplineGS，一个无需 COLMAP 的动态 3D 高斯溅写 (3DGS) 框架，用于从单目视频中实现高质量重建和快速渲染。其核心是一种新的运动自适应样条 (MAS) 方法，该方法使用少量控制点表示连续动态 3D 高斯轨迹。对于 MAS，我们引入了运动自适应控制点修剪 (MACP) 方法，以建模每个动态 3D 高斯在不同运动下的变形，同时保持动态建模完整性，逐步修剪控制点。此外，我们提出了一种联合优化策略，用于估计相机参数和 3D 高斯属性，利用光度和几何一致性。这一方法消除了结构从运动预处理的需求，并增强了 SplineGS 在实际条件下的鲁棒性。实验表明，SplineGS 在单目视频的动态场景中实现的新视角合成质量显著优于最先进的方法，实现了数千倍的渲染速度。
引用
@article{arxiv.2412.09982,
title = {SplineGS: Robust Motion-Adaptive Spline for Real-Time Dynamic 3D Gaussians from Monocular Video},
author = {Jongmin Park and Minh-Quan Viet Bui and Juan Luis Gonzalez Bello and Jaeho Moon and Jihyong Oh and Munchurl Kim},
journal= {arXiv preprint arXiv:2412.09982},
year = {2024}
}
备注
The first two authors contributed equally to this work (equal contribution). The last two authors advised equally to this work. Please visit our project page at this https://kaist-viclab.github.io/splinegs-site/