基于循环移位窗口注意力的Transformer跟踪
计算机视觉与模式识别
2022-05-10 v1
摘要
Transformer架构凭借其有效的注意力机制，在视觉目标跟踪中展现出强大实力。现有基于Transformer的方法在展平的图像特征上采用像素到像素的注意力策略，不可避免地忽略了目标的完整性。本文中，我们提出一种用于视觉目标跟踪的具有多尺度循环移位窗口注意力的新型Transformer架构，将注意力从像素级提升至窗口级。跨窗口多尺度注意力具有在不同尺度上聚合注意力并为目标对象生成最佳细尺度匹配的优势。此外，循环移位策略通过以位置信息扩充窗口样本带来更高精度，同时借助去除冗余计算节省大量算力。大量实验证明了我们方法的优越性能，该方法在五个具有挑战性的数据集以及VOT2020、UAV123、LaSOT、TrackingNet和GOT-10k基准上均创下新的最先进记录。
引用
@article{arxiv.2205.03806,
title = {Transformer Tracking with Cyclic Shifting Window Attention},
author = {Zikai Song and Junqing Yu and Yi-Ping Phoebe Chen and Wei Yang},
journal= {arXiv preprint arXiv:2205.03806},
year = {2022}
}
备注
CVPR 2022 paper