面向任意长度视频的更稳健的姿态自由3D高斯溅写
计算机视觉与模式识别
2025-05-27 v2
摘要
3D高斯溅写（3DGS）因其高效和高保真渲染而成为一种强大的表示方法。3DGS训练需要已知的每个输入视图的相机姿态，通常通过Structure-from-Motion（SfM）管道获取。先前的工作尝试放宽这一限制，但在处理具有复杂相机轨迹的长序列时仍面临困难。本文提出了Rob-GS，一个稳健的框架，用于 progressively 估计相机姿态并优化3DGS以处理任意长度的视频输入。具体而言，利用视频固有的连续性，我们设计了一种相邻姿态跟踪方法，以确保连续帧之间姿态估计的稳定性。为处理任意长度的输入，我们提出了一种高斯可见性保留检查策略，用于适当地将视频序列分割成多个片段并分别优化它们。在Tanks and Temples、ScanNet以及一个自采集数据集上的大量实验表明，Rob-GS超越了最先进的方法。
引用
@article{arxiv.2501.15096,
title = {Towards Better Robustness: Pose-Free 3D Gaussian Splatting for Arbitrarily Long Videos},
author = {Zhen-Hui Dong and Sheng Ye and Yu-Hui Wen and Nannan Li and Yong-Jin Liu},
journal= {arXiv preprint arXiv:2501.15096},
year = {2025}
}