Transformer 追踪
计算机视觉与模式识别
2021-03-30 v1
摘要
相关运算在追踪领域起着关键作用，尤其在近期流行的基于连体的追踪器中。相关运算是一种简单的融合方式，用于考虑模板与搜索区域之间的相似性。然而，相关运算本身是一个局部线性匹配过程，导致语义信息丢失并容易陷入局部最优，这可能是设计高精度追踪算法的瓶颈。是否存在比相关更好的特征融合方法？为解决此问题，受 Transformer 启发，本文提出一种新颖的基于注意力的特征融合网络，仅使用注意力便有效结合模板与搜索区域特征。具体而言，所提方法包含一个基于自注意力的自我上下文增强模块和一个基于交叉注意力的跨特征增强模块。最后，我们基于类连体特征提取骨干、所设计的基于注意力的融合机制以及分类与回归头，提出一种 Transformer 追踪（命名为 TransT）方法。实验表明，我们的 TransT 在六个具有挑战性的数据集上取得了非常有前景的结果，尤其是在大规模 LaSOT、TrackingNet 和 GOT-10k 基准上。我们的追踪器在 GPU 上以约 50 fps 运行。代码与模型见 https://github.com/chenxin-dlut/TransT。
引用
@article{arxiv.2103.15436,
title = {Transformer Tracking},
author = {Xin Chen and Bin Yan and Jiawen Zhu and Dong Wang and Xiaoyun Yang and Huchuan Lu},
journal= {arXiv preprint arXiv:2103.15436},
year = {2021}
}
备注
Accepted by CVPR2021