基于排序的孪生视觉跟踪

当前基于孪生的跟踪器主要将视觉跟踪表述为两个独立的子任务，包括分类与定位。它们通过分别处理每个样本来学习分类子网络，忽视了正样本与负样本之间的关系。此外，此类跟踪范式仅利用候选框的分类置信度进行最终预测，可能导致分类与定位之间的错位。为解决这些问题，本文提出一种基于排序的优化算法来探索不同候选框之间的关系。为此，我们引入两种排序损失，包括分类排序损失与 IoU 引导的排序损失，作为优化约束。分类排序损失可确保正样本排名高于困难负样本（即干扰物），从而使跟踪器能成功选择前景样本而不被干扰物误导。IoU 引导的排序损失旨在将正样本的分类置信度分数与其对应定位预测的 Intersection over Union（IoU）对齐，使定位良好的预测由高分类置信度表示。具体而言，所提两种排序损失与大多数孪生跟踪器兼容，且推理时不带来额外计算。在七个跟踪基准（包括 OTB100、UAV123、TC128、VOT2016、NFS30、GOT-10k 与 LaSOT）上的大量实验证明了所提基于排序的优化算法的有效性。代码与原始结果可在 https://github.com/sansanfree/RBO 获取。