基于长期上下文注意力的目标感知跟踪
计算机视觉与模式识别
2023-02-28 v1
摘要
大多数深度跟踪器仍遵循孪生范式的指导,使用仅包含目标而不含任何上下文信息的模板,这使得跟踪器难以应对大幅外观变化、目标快速运动以及相似物体的干扰。为缓解上述问题,我们提出一种长期上下文注意力(LCA)模块,该模块能够对来自长期帧的目标及其上下文进行广泛的信息融合,并在增强目标特征的同时计算目标相关性。完整的上下文信息包含目标的位置以及目标周围的状态。LCA利用前一帧的目标状态排除相似物体和复杂背景的干扰,从而准确锁定目标并使跟踪器获得更高的鲁棒性和回归精度。通过将LCA模块嵌入Transformer,我们构建了一个具有目标感知主干的强大在线跟踪器,称为TATrack。此外,我们提出了一种基于历史信息分类置信度的动态在线更新算法,不带来额外计算负担。我们的跟踪器在多个基准上取得了最先进的性能,在LaSOT、TrackingNet和GOT-10k上分别达到71.1% AUC、89.3% NP和73.0% AO。代码和训练模型可在 https://github.com/hekaijie123/TATrack 获取。
引用
@article{arxiv.2302.13840,
title = {Target-Aware Tracking with Long-term Context Attention},
author = {Kaijie He and Canlong Zhang and Sheng Xie and Zhixin Li and Zhiwen Wang},
journal= {arXiv preprint arXiv:2302.13840},
year = {2023}
}