基于跨输入一致性的自监督 RGB-T 跟踪

本文提出一种自监督 RGB-T 跟踪方法。不同于现有使用大量标注 RGB-T 图像对训练的深层 RGB-T 跟踪器，我们的 RGB-T 跟踪器以自监督方式使用无标注的 RGB-T 视频对进行训练。我们基于可用不同输入进行跟踪的思想，提出一种新颖的基于跨输入一致性的自监督训练策略。具体地，我们利用无标注 RGB-T 视频对构造两种不同的输入，随后使用这两种输入跟踪目标以生成结果，并据此构造跨输入一致性损失。同时，我们提出一种重加权策略使损失函数对低质量训练样本具有鲁棒性。我们的跟踪器构建于孪生相关滤波网络之上。据我们所知，我们的跟踪器是首个自监督 RGB-T 跟踪器。在两个公开 RGB-T 跟踪基准上的大量实验表明所提训练策略有效。值得注意的是，尽管仅以无标注 RGB-T 视频对语料训练，我们的跟踪器在 GTOT 数据集上超越了七个有监督 RGB-T 跟踪器。