TCTrack:用于空中跟踪的时间上下文
计算机视觉与模式识别
2022-03-29 v3
摘要
在现有视觉跟踪器中,连续帧间的时间上下文远未被充分利用。本工作中,我们提出 TCTrack,一个全面利用时间上下文用于空中跟踪的框架。时间上下文在\textbf{两个层次}被引入:\textbf{特征}提取与\textbf{相似度图}细化。具体而言,对于特征提取,提出一种在线时间自适应卷积,通过使用时间信息增强空间特征,其通过依据先前帧动态校准卷积权重来实现。对于相似度图细化,我们提出一种自适应时间 transformer,其首先以内存高效的方式有效编码时间知识,之后解码时间知识以准确调整相似度图。TCTrack 有效且高效:在四个空中跟踪基准上的评估展现了其令人印象深刻的性能;真实世界无人机测试显示其在 NVIDIA Jetson AGX Xavier 上以超过 27 FPS 的高速度运行。
引用
@article{arxiv.2203.01885,
title = {TCTrack: Temporal Contexts for Aerial Tracking},
author = {Ziang Cao and Ziyuan Huang and Liang Pan and Shiwei Zhang and Ziwei Liu and Changhong Fu},
journal= {arXiv preprint arXiv:2203.01885},
year = {2022}
}
备注
To appear in CVPR2022. Code: https://github.com/vision4robotics/TCTrack