用于RGBT跟踪的交叉调制注意力Transformer

现有的基于Transformer的RGBT跟踪器通过利用自注意力提取单模态特征并利用交叉注意力增强多模态特征交互和模板-搜索相关性计算，取得了显著的性能优势。然而，独立的搜索-模板相关性计算忽略了分支之间的一致性，可能导致歧义且不恰当的相关性权重。这不仅限制了单模态特征的表示，还损害了跨注意力在多模态特征交互和搜索-模板相关性计算中的鲁棒性。为解决这些问题，我们提出一种新方法，称为Cross-modulated Attention Transformer（CAFormer），其在统一的注意力模型中执行内模态自相关、跨模态特征交互和搜索-模板相关性计算，用于RGBT跟踪。具体而言，我们首先独立生成每个模态的相关性图，并输入到设计的相关性调制增强模块中，通过寻求模态之间的共识来调制不准确的相关性权重。这种设计统一了自注意力和交叉注意力方案，不仅缓解了自注意力中不准确注意力权重计算的问题，也消除了额外交叉注意力方案引入的冗余计算。此外，我们提出了一种协作token消除策略，以进一步提高跟踪推理的效率和准确性。在五个公开的RGBT跟踪基准测试上进行的广泛实验表明，CAFormer在与领先方法相比方astically展现了突出的性能。