TRAT：基于注意力机制利用时空特征的目标跟踪
计算机视觉与模式识别
2022-04-12 v1
摘要
鲁棒的目标跟踪需要掌握被跟踪对象的外观、运动及其随时间演变的信息。尽管运动信息尤其对快速运动目标提供了独特且互补的信息，近期多数跟踪架构主要关注目标的外观信息。本文提出一种利用空间与时间特征的双流深度神经网络跟踪器。我们的架构在 ATOM 跟踪器基础上构建，包含两条主干：（i）用于捕获外观特征的 2D-CNN 网络；（ii）用于捕获运动特征的 3D-CNN 网络。两网络返回的特征随后通过基于注意力的特征聚合模块（FAM）进行融合。由于整体架构是统一的，可进行端到端训练。实验结果表明，所提出的跟踪器 TRAT（TRacking by ATtention，基于注意力跟踪）在多数基准上取得了最先进（SOTA）性能，并显著优于基线 ATOM 跟踪器。
引用
@article{arxiv.2011.09524,
title = {TRAT: Tracking by Attention Using Spatio-Temporal Features},
author = {Hasan Saribas and Hakan Cevikalp and Okan Köpüklü and Bedirhan Uzun},
journal= {arXiv preprint arXiv:2011.09524},
year = {2022}
}