基于双向适配器的交叉融合 RGB-T 跟踪
计算机视觉与模式识别
2024-09-02 v1
摘要
许多最先进的 RGB-T 跟踪器通过模态融合取得了显著成果。然而，这些跟踪器通常要么忽略时间信息，要么未能充分利用它，导致多模态与时间信息之间的平衡失效。为了解决这个问题，我们提出了一种新颖的交叉融合 RGB-T 跟踪架构（CFBT），该架构确保多种模态充分参与跟踪，同时动态融合时间信息。CFBT 的有效性依赖于三个新设计的交叉时空信息融合模块：交叉时空增强融合（CSTAF）、交叉时空互补融合（CSTCF）和双流时空适配器（DSTA）。CSTAF 采用交叉注意力机制全面增强模板的特征表示。CSTCF 利用不同分支间的互补信息来增强目标特征并抑制背景特征。DSTA 采用适配器概念，以 RGB 模态为媒介，自适应地融合 Transformer 层内来自多个分支的互补信息。这些多视角的巧妙融合仅引入了不到总模态参数 0.3\% 的参数量，但确实实现了多模态与时间信息之间的高效平衡。在三个流行的 RGB-T 跟踪基准上的大量实验表明，我们的方法达到了新的最先进性能。
引用
@article{arxiv.2408.16979,
title = {Cross Fusion RGB-T Tracking with Bi-directional Adapter},
author = {Zhirong Zeng and Xiaotao Liu and Meng Sun and Hongyu Wang and Jing Liu},
journal= {arXiv preprint arXiv:2408.16979},
year = {2024}
}