MFGNet:用于 RGB-T 跟踪的动态模态感知滤波器生成网络
计算机视觉与模式识别
2022-05-10 v2 人工智能
摘要
许多 RGB-T 跟踪器试图通过自适应加权方案(或注意力机制)获得鲁棒的特征表示。与这些工作不同,我们提出了一种新的动态模态感知滤波器生成模块(命名为 MFGNet),通过在实跟踪中针对不同输入图像自适应调整卷积核,来促进可见光与热红外数据之间的信息交流。给定图像对作为输入,我们首先用骨干网络编码其特征。然后,我们拼接这些特征图并用两个独立网络生成动态模态感知滤波器。可见光与热红外滤波器将分别用于对其对应输入特征图进行动态卷积操作。受残差连接启发,生成的可见光与热红外特征图都将与输入特征图求和。增强后的特征图将被送入 RoI align 模块以生成实例级特征用于后续分类。为解决由严重遮挡、快速运动与视野外引起的问题,我们提出通过利用一种新的方向感知目标驱动注意力机制来进行联合局部与全局搜索。空间与时间循环神经网络用于捕获方向感知上下文以准确预测全局注意力。在三个大规模 RGB-T 跟踪基准数据集上的大量实验验证了我们所提算法的有效性。本文源代码见 \textcolor{magenta}{\url{https://github.com/wangxiao5791509/MFG_RGBT_Tracking_PyTorch}}。
引用
@article{arxiv.2107.10433,
title = {MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking},
author = {Xiao Wang and Xiujun Shu and Shiliang Zhang and Bo Jiang and Yaowei Wang and Yonghong Tian and Feng Wu},
journal= {arXiv preprint arXiv:2107.10433},
year = {2022}
}
备注
Accepted by IEEE TMM 2022