用于视觉跟踪的多注意力关联预测网络
计算机视觉与模式识别
2024-03-26 v1
摘要
分类-回归预测网络已在多个现代深度跟踪器中取得了令人瞩目的成功。然而，分类与回归任务之间存在固有差异，因此它们对特征匹配有着多样化甚至相反的需求。现有模型通常忽略这一关键问题，仅在两个任务分支中使用统一的匹配模块，从而降低了决策质量。此外，这些模型还面临决策不对齐的困境。本文提出了一种多注意力关联预测网络来解决上述问题。具体而言，首先设计了两种新颖的匹配器，即类别感知匹配器和空间感知匹配器，通过有机地整合自注意力、交叉注意力、通道注意力或空间注意力来进行特征比较。它们能够分别为分类充分捕获类别相关的语义，为回归捕获局部空间上下文。然后，我们提出了一个双对齐模块，以增强两个分支之间的对应关系，这有助于找到最优跟踪解。最后，我们描述了一个基于所提预测网络构建的孪生跟踪器，该跟踪器在五个跟踪基准测试集（包括 LaSOT、TrackingNet、GOT-10k、TNL2k 和 UAV123）上均取得了领先性能，并超越了其他最先进的方法。
引用
@article{arxiv.2403.16395,
title = {Multi-attention Associate Prediction Network for Visual Tracking},
author = {Xinglong Sun and Haijiang Sun and Shan Jiang and Jiacheng Wang and Xilai Wei and Zhonghe Hu},
journal= {arXiv preprint arXiv:2403.16395},
year = {2024}
}