相关性嵌入的 Transformer 跟踪：单分支框架

开发鲁棒且具判别性的外观模型一直是视觉目标跟踪中长期存在的研究挑战。在流行的基于孪生网络的范式中，由类孪生网络提取的特征通常不足以对被跟踪目标与干扰物体进行建模，从而阻碍其同时具备鲁棒性与判别性。尽管大多数孪生跟踪器专注于设计鲁棒的相关操作，我们受 Transformer 启发，提出了一种新颖的单分支跟踪框架。与类孪生特征提取不同，我们的跟踪器将跨图像特征相关性深度嵌入特征网络的多个层中。通过在多个层中广泛匹配两幅图像的特征，它能够抑制非目标特征，从而实现目标感知的特征提取。输出特征可直接用于预测目标位置，无需额外的相关步骤。因此，我们将双分支孪生跟踪重新表述为一个概念上简单、完全基于 Transformer 的单分支跟踪流水线，称为 SBT。在对 SBT 基线进行深入分析后，我们总结出许多有效的设计原则，并提出了一种改进的跟踪器，称为 SuperSBT。SuperSBT 采用带有局部建模层的分层架构以增强浅层特征。我们提出统一的关系建模以消除复杂的手工层模式设计。SuperSBT 进一步通过掩码图像建模预训练、集成时序建模以及配备专用预测头来改进。因此，SuperSBT 在 LaSOT、TrackingNet 和 GOT-10K 上的 AUC 分数上分别比 SBT 基线高出 4.7%、3.0% 和 4.5%。值得注意的是，SuperSBT 将 SBT 的速度从 37 FPS 大幅提升至 81 FPS。大量实验表明，我们的方法在八个 VOT 基准上取得了优异的结果。