基于分层散度损失多适配器网络的 RGBT 跟踪

RGBT 跟踪已引起越来越多的关注，因为 RGB 与热红外数据具有强互补优势，可使跟踪器全天候工作。然而，如何有效表示 RGBT 数据以用于视觉跟踪仍未被充分研究。现有工作通常侧重于提取模态共享或模态特定信息，但这两种线索的潜力在 RGBT 跟踪中未被充分挖掘和利用。本文中，我们提出一种新颖的多适配器网络，联合执行模态共享、模态特定和实例感知的目标表征学习以实现 RGBT 跟踪。为此，我们在端到端深度学习框架内设计了三种适配器。具体而言，我们使用修改后的 VGG-M 作为通用适配器来提取模态共享的目标表征。为提取模态特定特征并降低计算复杂度，我们设计了一个模态适配器，以并行方式在每一层和每一模态上向通用适配器添加一个小模块。由于绝大多数参数与通用适配器共享，这种设计能以适量参数学习多级模态特定表征。我们还设计了实例适配器来捕获特定目标的外观属性和时间变化。此外，为增强共享与特定特征，我们采用多核最大均值差异损失来衡量不同模态特征的分布散度，并将其集成到每一层中以进行更鲁棒的表征学习。在两个 RGBT 跟踪基准数据集上的大量实验证明了所提跟踪器相对于最先进方法的优异性能。