用于多模态跟踪的双向适配器

由于计算机视觉的快速发展，单模态（RGB）目标跟踪近年来取得了显著进展。考虑到单一成像传感器的局限性，引入了多模态图像（RGB、红外等）来弥补这一缺陷，以实现在复杂环境下的全天候目标跟踪。然而，由于获取充足的多模态跟踪数据困难，且主导模态随开放环境而变化，大多数现有技术无法动态提取多模态互补信息，导致跟踪性能不佳。为了解决这个问题，我们提出了一种基于通用双向适配器的新颖多模态视觉提示跟踪模型，相互交叉提示多种模态。我们的模型由一个通用双向适配器和多个共享参数的特定模态 Transformer 编码器分支组成。编码器利用冻结的预训练基础模型分别提取每种模态的特征。我们开发了一个简单但有效的轻量特征适配器，将特定模态信息从一种模态转移到另一种模态，以自适应方式执行视觉特征提示融合。仅增加较少（0.32M）的可训练参数，与全微调方法和基于提示学习的方法相比，我们的模型实现了优越的跟踪性能。我们的代码可在以下地址获取：https://github.com/SparkTempest/BAT。