面向 RGBT 跟踪的对偶门控互条件网络

在 RGBT 跟踪中，低质量模态不仅包含大量噪声信息，也包含一些判别性特征。然而，现有 RGBT 跟踪算法并未充分挖掘低质量模态的潜力。在本工作中，我们提出一种新颖的对偶门控互条件网络，以充分利用所有模态的判别性信息，同时抑制数据噪声的影响。具体而言，我们设计了一个互条件模块，该模块将一个模态的判别性信息作为条件来引导另一模态中目标外观的特征学习。即便存在低质量模态，该模块也能有效增强所有模态的目标表征。为提高条件质量并进一步降低数据噪声，我们提出一种对偶门控机制并将其集成到互条件模块中。为应对 RGBT 跟踪中常由相机突然运动引起的跟踪失败，我们设计了一种基于光流算法的重采样策略。由于仅在模型预测不可靠时才进行光流计算，并在检测到相机突然运动时执行重采样，该策略不会增加过多计算成本。在四个 RGBT 跟踪基准数据集上的大量实验表明，我们的方法优于当前最先进的跟踪算法。