多视角3D点跟踪
计算机视觉与模式识别
2025-08-29 v1
摘要
我们提出了首个数据驱动的多视角3D点跟踪器，旨在使用多个相机视角跟踪动态场景中的任意点。与现有单目跟踪器在深度歧义和遮挡方面难题不同，或需20多个相机且需为每个序列进行繁琐优化的多相机方法相比，我们的前馈模型直接预测3D对应关系，使用实际可行的相机数量(例如四个)，实现稳健且准确的在线跟踪。鉴于已知相机姿态和要么基于传感器的要么估计的多视角深度，我们的跟踪器将多视角特征融合到统一的点云中，并应用k近邻相关算法配合基于变压器的更新，可在遮挡情况下可靠地估计跨越长程的3D对应关系。我们在5K个合成多视角Kubric序列上进行训练，在Panoptic Studio和DexYCB两个真实世界基准上进行评估，分别实现了3.1厘米和2.0厘米的中位数轨迹误差。该方法对多样化的相机设置(1-8个视角)和视频长度(24-150帧)具有良好的泛化能力。通过发布跟踪器及其训练和评估数据集，我们旨在为多视角3D跟踪研究设定新标准，并为实际应用提供实用工具。项目页面可在https://ethz-vlg.github.io/mvtracker访问。
引用
@article{arxiv.2508.21060,
title = {Multi-View 3D Point Tracking},
author = {Frano Rajič and Haofei Xu and Marko Mihajlovic and Siyuan Li and Irem Demir and Emircan Gündoğdu and Lei Ke and Sergey Prokudin and Marc Pollefeys and Siyu Tang},
journal= {arXiv preprint arXiv:2508.21060},
year = {2025}
}
备注
ICCV 2025, Oral. Project page: https://ethz-vlg.github.io/mvtracker