面向Transformer跟踪的广义关系建模
计算机视觉与模式识别
2023-04-24 v3
摘要
与以往的双流跟踪器相比，近期的一流跟踪流水线允许模板与搜索区域更早交互，取得了显著的性能提升。然而，现有的一流跟踪器始终让模板与搜索区域内的所有部分在所有编码器层中交互。当提取的特征表示不够具有判别性时，这可能导致目标-背景混淆。为缓解此问题，我们提出一种基于自适应令牌划分的广义关系建模方法。所提方法是一种面向Transformer跟踪的基于注意力的关系建模的广义表述，它继承了以往双流与一流流水线的优点，同时通过选择合适的搜索令牌与模板令牌交互实现更灵活的关系建模。我们引入注意力掩码策略和Gumbel-Softmax技术，以促进令牌划分模块的并行计算与端到端学习。大量实验表明，我们的方法优于双流和一流流水线，并在六个具有挑战性的基准上以实时运行速度取得了最先进的性能。
引用
@article{arxiv.2303.16580,
title = {Generalized Relation Modeling for Transformer Tracking},
author = {Shenyuan Gao and Chunluan Zhou and Jun Zhang},
journal= {arXiv preprint arXiv:2303.16580},
year = {2023}
}
备注
Accepted by CVPR 2023. v3: fix a typo in equation (7). Code and models are publicly available at https://github.com/Little-Podi/GRM