相关性感知深度跟踪

鲁棒性和判别力是视觉目标跟踪的两个基本要求。在大多数跟踪范式中，我们发现流行的类 Siamese 网络提取的特征不能充分判别性地建模被跟踪目标与干扰物体，阻碍它们同时满足这两个要求。虽然多数方法聚焦于设计鲁棒的相关性操作，我们受自注意力/交叉注意力方案启发，提出一种新颖的依赖于目标的特征网络。与类 Siamese 的特征提取不同，我们的网络在特征网络的多个层中深度嵌入跨图像特征相关性。通过多层对两幅图像特征进行广泛匹配，它能够抑制非目标特征，从而实现随实例变化的特征提取。搜索图像的输出特征可直接用于预测目标位置，无需额外相关步骤。此外，我们的模型可灵活地在大量未配对图像上预训练，导致比现有方法显著更快的收敛。大量实验表明我们的方法在实时运行的同时取得了最先进的结果。我们的特征网络也可无缝应用于现有跟踪流程以提升跟踪性能。代码将公开。