基于混合注意力的 RGB-T 跟踪

RGB-T 跟踪涉及使用可见光与热成像两种模态的图像。其主要目标是自适应地利用在不同条件下相对占主导的模态，以实现比单模态跟踪更鲁棒的跟踪。本文提出了一种基于混合注意力机制以实现模态互补融合的 RGB-T 跟踪器（称为 MACFT）。在特征提取阶段，我们利用不同的 transformer 骨干分支从不同模态中提取特定信息与共享信息。通过在骨干中执行混合注意力操作，实现模板与搜索图像之间的信息交互与自增强，从而构建出能更好理解目标高层语义特征的鲁棒特征表示。随后，在特征融合阶段，通过基于混合注意力的模态融合网络实现模态自适应融合，在抑制低质量模态噪声的同时增强主导模态的信息。在多个 RGB-T 公开数据集上的评估表明，我们所提出的跟踪器在通用评价指标上优于其他 RGB-T 跟踪器，同时也能适应长时跟踪场景。