SwinTrack：一种简洁而强大的 Transformer 跟踪基线
计算机视觉与模式识别
2023-03-24 v3
摘要
近来 Transformer 在跟踪领域得到大量探索并展现出最先进(SOTA)性能。然而，现有工作主要聚焦于融合与增强由卷积神经网络(CNNs)生成的特征，Transformer 在表征学习中的潜力仍待发掘。本文旨在经典孪生框架下提出一种简洁高效的完全注意力跟踪器，称为 SwinTrack，以进一步释放 Transformer 的威力。具体而言，SwinTrack 中的表征学习与特征融合均利用 Transformer 架构，相较纯 CNN 或混合 CNN-Transformer 框架实现了更好的跟踪特征交互。此外，为进一步提升鲁棒性，我们提出一种新颖的运动 token，其嵌入历史目标轨迹以通过提供时间上下文改善跟踪。我们的运动 token 计算开销极小却带来明显增益。在充分的实验中，SwinTrack 在多个基准上超越现有方法。尤其在具挑战性的 LaSOT 上，SwinTrack 以 0.713 SUC 分数创下新高，并在其他基准上也取得 SOTA 结果。我们期望 SwinTrack 可作为 Transformer 跟踪的坚实基线并推动未来研究。我们的代码与结果发布于 https://github.com/LitingLin/SwinTrack。
引用
@article{arxiv.2112.00995,
title = {SwinTrack: A Simple and Strong Baseline for Transformer Tracking},
author = {Liting Lin and Heng Fan and Zhipeng Zhang and Yong Xu and Haibin Ling},
journal= {arXiv preprint arXiv:2112.00995},
year = {2023}
}
备注
22 pages, 10 figures