用于 RGBT 跟踪的动态融合网络
计算机视觉与模式识别
2023-01-12 v1
摘要
由于可见光与红外图像各有优劣,RGBT 跟踪已引起越来越多的关注。RGBT 跟踪的关键在于可见光与红外图像的特征提取与特征融合。当前 RGBT 跟踪方法多关注个体特征(从单一相机图像中提取的特征)与公共特征(从 RGB 相机与热成像相机提取并融合的特征),而较少关注个体特征与公共特征对于已配准图像对的不同序列所做出的不同且动态的贡献。本文提出一种新颖的 RGBT 跟踪方法,称为动态融合网络(Dynamic Fusion Network, DFNet),其采用双流结构,在每一层使用两个非共享卷积核提取个体特征。此外,DFNet 每一层具有共享卷积核以提取公共特征。非共享卷积核与共享卷积核根据不同图像对被自适应加权求和,从而使 DFNet 能应对不同序列的不同贡献。DFNet 速度较快,为 28.658 FPS。实验结果表明,当 DFNet 仅比基于非共享卷积核的融合方法增加 0.02% 的乘加运算(Mult-Adds)时,准确率(Precision Rate, PR)与成功率(Success Rate, SR)分别达到 88.1% 与 71.9%。
引用
@article{arxiv.2109.07662,
title = {Dynamic Fusion Network for RGBT Tracking},
author = {Jingchao Peng and Haitao Zhao and Zhengwei Hu},
journal= {arXiv preprint arXiv:2109.07662},
year = {2023}
}