MITracker：基于多视图集成的视觉对象跟踪
计算机视觉与模式识别
2025-02-28 v1 人工智能
摘要
多视图对象跟踪（MVOT）为解决传统单视图跟踪中常见的遮挡和目标丢失等挑战提供了有前景的解决方案。然而，由于缺乏全面的多视图数据集和有效的跨视图集成方法，进展受到限制。为克服这些限制，我们编译了一个包含23.4万个高质量标注帧、涵盖27种不同物体的多视图对象跟踪（MVTrack）数据集。配合该数据集，我们引入一种新型MVOT方法——多视图集成跟踪器（MITracker），高效地集成多视图对象特征并提供稳定的跟踪结果。MITracker能够从任意视点的任意长度视频帧中跟踪任意对象。与传统单视图方法相比，本方法的关键改进来自两个方面：（1）MITracker将2D图像特征转换为3D特征体积并压缩为鸟瞰图（BEV）平面，从而促进跨视图信息融合；（2）我们提出了一种注意力机制，利用融合后的3D特征体积中的几何信息，在每个视点处细化跟踪结果。MITracker在MVTrack和GMTD数据集上超越了现有方法，实现了最先进的性能。代码和新数据集可在 https://mii-laboratory.github.io/MITracker/ 获取。
引用
@article{arxiv.2502.20111,
title = {MITracker: Multi-View Integration for Visual Object Tracking},
author = {Mengjie Xu and Yitao Zhu and Haotian Jiang and Jiaming Li and Zhenrong Shen and Sheng Wang and Haolin Huang and Xinyu Wang and Qing Yang and Han Zhang and Qian Wang},
journal= {arXiv preprint arXiv:2502.20111},
year = {2025}
}