SmallGS：基于高斯溅射的小基线视频相机姿态估计
计算机视觉与模式识别
2025-04-28 v1 图像与视频处理
摘要
小基线运动的动态视频在日常生活中十分常见，尤其在社交媒体上。然而，这些视频对现有的姿态估计框架来说具有挑战，由于特征模糊、漂移累积以及不足够的三角化约束。高斯溅射保持场景的显式表征，能够在视点变化较小时提供可靠的新视角光栅化。在此基础上，我们提出 SmallGS，一种专为小基线视频设计的相机姿态估计框架。SmallGS 使用高斯溅射优化顺序相机姿态，该框架从每个视频段的第一帧重建场景，以提供稳定的参考基准。高斯溅射在有限视点差异内的时序一致性，降低了传统相机姿态估计对充足深度变化的要求。我们进一步将预训练的鲁棒视觉特征（如 DINOv2）整合到高斯溅射中，高维特征图渲染可增强相机姿态估计的鲁棒性。通过冻结高斯溅射并基于光栅化特征优化相机视点，SmallGS 在无需显式特征对应关系或强 parallax 运动的情况下有效学习相机姿态。我们在 TUM-Dynamics 数据集上的小基线视频上验证了 SmallGS 的有效性，相较于 MonST3R 和 DORID-SLAM 在动态场景中小基线视频的姿态估计精度显著提升。我们的项目页面地址为：https://yuxinyao620.github.io/SmallGS
引用
@article{arxiv.2504.17810,
title = {SmallGS: Gaussian Splatting-based Camera Pose Estimation for Small-Baseline Videos},
author = {Yuxin Yao and Yan Zhang and Zhening Huang and Joan Lasenby},
journal= {arXiv preprint arXiv:2504.17810},
year = {2025}
}
备注
10 pages, 4 figures, Accepted by CVPR workshop