用于实时无人机跟踪的孪生 Transformer 金字塔网络
计算机视觉与模式识别
2021-10-19 v1 机器人学
摘要
近期目标跟踪方法依赖于深度网络或复杂架构。此类跟踪器大多难以在算力受限的移动平台上满足实时处理需求。本工作中，我们提出孪生 Transformer 金字塔网络（SiamTPN），其继承了 CNN 与 Transformer 架构的优势。具体而言，我们利用轻量网络（ShuffleNetV2）的固有特征金字塔，并以 Transformer 增强之，从而构建鲁棒的目标专属表观模型。我们设计了具有横向交叉注意力的集中式架构，用于构建增强的高层特征图。为避免将金字塔表征与 Transformer 融合时的计算与内存密集问题，我们进一步引入池化注意力模块，在显著降低内存与时间复杂度的同时提升鲁棒性。在航空及主流跟踪基准上的综合实验以高速运行取得了具竞争力的结果，证明了 SiamTPN 的有效性。此外，我们最快的变体跟踪器在单 CPU 核上以超过 30 Hz 运行，并在 LaSOT 数据集上取得 58.1% 的 AUC 得分。源代码见 https://github.com/RISCNYUAD/SiamTPNTracker
引用
@article{arxiv.2110.08822,
title = {Siamese Transformer Pyramid Networks for Real-Time UAV Tracking},
author = {Daitao Xing and Nikolaos Evangeliou and Athanasios Tsoukalas and Anthony Tzes},
journal= {arXiv preprint arXiv:2110.08822},
year = {2021}
}
备注
10 pages, 8 figures, accepted by WACV2022