用于自适应 RGBT 跟踪的时间聚合方法

利用可用的 RGB 与热红外（TIR）光谱进行视觉目标跟踪（简称 RGBT 跟踪）是近年来引起越来越多关注的崭新且富有挑战的研究课题。本文提出一种 RGBT 跟踪器，其考虑时空线索以进行鲁棒外观模型学习，同时构建自适应融合子网络以实现跨模态交互。与大多数仅包含空间信息实现目标跟踪任务的现有 RGBT 跟踪器不同，本方法进一步考虑了时间信息。具体而言，不同于传统孪生跟踪器在选取模板-搜索图像对过程中仅获取一张搜索图像，本方法额外选取与原始搜索图像相邻的搜索样本以预测时间变换，从而提升跟踪性能的鲁棒性。对于多模态跟踪，受限于有限的 RGBT 数据集，自适应融合子网络在决策层附加于我们的方法以反映两模态所含的互补特性。为设计热红外辅助的 RGB 跟踪器，在来自 RGB 模态的残差连接之前，考虑了来自 TIR 模态分类头的输出。在三个具有挑战性的数据集（即 VOT-RGBT2019、GTOT 和 RGBT210）上的大量实验结果验证了本方法的有效性。代码将于 \textcolor{blue}{\emph{https://github.com/Zhangyong-Tang/TAAT}} 分享。