ARTrackV2:提示自回归跟踪器看向何处以及如何描述
计算机视觉与模式识别
2024-02-14 v3
摘要
我们提出了 ARTrackV2,它整合了跟踪的两个关键方面:确定在视频帧中看向何处(定位)以及如何描述(外观分析)目标物体。ARTrackV2 在其前身的基础上,通过引入统一的生成式框架扩展了这一概念,以自回归方式“读出”物体的轨迹并“复述”其外观。这种方法促进了一种时间连续的方法论,在先前估计的指导下对运动和视觉特征的联合演化进行建模。此外,ARTrackV2 以其高效性和简洁性脱颖而出,避免了效率较低的帧内自回归和用于外观更新的手调参数。尽管结构简单,ARTrackV2 在主流基准数据集上实现了最先进的性能,同时展示了显著的效率提升。特别是,ARTrackV2 在 GOT-10k 上取得了 79.5\%的 AO 分数,在 TrackingNet 上取得了 86.1\%的 AUC,同时速度比 ARTrack 快倍。代码将开源。
引用
@article{arxiv.2312.17133,
title = {ARTrackV2: Prompting Autoregressive Tracker Where to Look and How to Describe},
author = {Yifan Bai and Zeyang Zhao and Yihong Gong and Xing Wei},
journal= {arXiv preprint arXiv:2312.17133},
year = {2024}
}