DATAP-SfM：面向野外鲁棒运动恢复结构的动态感知任意点跟踪
计算机视觉与模式识别
2024-11-21 v1
摘要
本文提出了一种简洁、优雅且鲁棒的流程，用于估计野外普通视频的平滑相机轨迹并获取密集点云。传统框架（如 ParticleSfM）通过顺序计算相邻帧之间的光流来获取点轨迹，从而解决这一问题。然后，它们通过运动分割去除动态轨迹并执行全局光束法平差。然而，估计两相邻帧之间的光流并串联匹配的过程会引入累积误差。此外，运动分割与单视图深度估计相结合常常面临尺度模糊性相关的挑战。为了应对这些挑战，我们提出了一种动态感知任意点跟踪（DATAP）方法，该方法利用一致的视频深度和点跟踪。具体而言，我们的 DATAP 通过估计视频序列上的密集点跟踪并预测每个点的可见性和动态来解决这些问题。通过结合一致的视频深度先验，运动分割的性能得到了提升。借助 DATAP 的集成，通过对分类为静态和可见的点跟踪执行全局光束法平差，可以同时估计和优化所有相机位姿，而无需依赖增量式相机配准。在动态序列（例如 Sintel 和 TUM RGBD 动态序列）以及野外视频（例如 DAVIS）上的大量实验表明，即使在复杂的动态挑战场景中，所提出的方法在相机位姿估计方面也取得了 SOTA 性能。
引用
@article{arxiv.2411.13291,
title = {DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild},
author = {Weicai Ye and Xinyu Chen and Ruohao Zhan and Di Huang and Xiaoshui Huang and Haoyi Zhu and Hujun Bao and Wanli Ouyang and Tong He and Guofeng Zhang},
journal= {arXiv preprint arXiv:2411.13291},
year = {2024}
}