基于全层多模态交互与渐进融合Mamba的RGBT跟踪

现有的RGBT跟踪方法通常设计各种交互模型来执行各层的跨模态融合，但由于计算负担大，无法在所有层之间执行特征交互，而这种交互在鲁棒的多模态表示中起着关键作用。为了解决这一问题，本文提出了一种新颖的全层多模态交互网络AINet，通过渐进融合Mamba实现所有模态和层之间高效且有效的特征交互，以实现鲁棒的RGBT跟踪。尽管不同层中的模态特征已知包含不同的线索，但由于在交互能力和效率之间取得平衡的困难，在每一层构建多模态交互始终具有挑战性。同时，考虑到RGB和热红外模态之间的特征差异在某种程度上反映了它们的互补信息，我们设计了一种基于差异的融合Mamba（DFM），以线性复杂度实现不同模态的增强融合。当与所有层的特征进行交互时，会涉及大量token序列（本文中为3840个token），因此计算负担较大。为了处理这一问题，我们设计了一种顺序动态融合Mamba（OFM），通过动态调整Mamba中不同层的扫描顺序来执行所有层之间高效且有效的特征交互。在四个公开RGBT跟踪数据集上的大量实验表明，AINet在性能上优于现有的最先进方法。