用于 RGB-T 跟踪的孪生红外与可见光融合网络
计算机视觉与模式识别
2023-04-26 v1
摘要
由于红外与可见光不同的感光特性，同一场景拍摄的配准 RGB-T 图像对呈现出相当不同的特征。本文提出一种用于基于 RGB-T 图像跟踪的孪生红外与可见光融合网络 (SiamIVFN)。SiamIVFN 包含两个主要子网络：互补特征融合网络 (CFFN) 和贡献聚合网络 (CAN)。CFFN 利用双层流多层卷积结构，其每层的滤波器部分耦合以融合从红外图像和可见光图像中提取的特征。CFFN 是一个特征级融合网络，可以应对 RGB-T 图像对的未对齐。通过自适应计算从 CFFN 获得的红外与可见光特征的贡献，CAN 使跟踪器在各种光照条件下具有鲁棒性。在两个 RGB-T 跟踪基准数据集上的实验表明，所提出的 SiamIVFN 取得了最先进的性能。SiamIVFN 的跟踪速度为 147.6FPS，是当前最快的 RGB-T 融合跟踪器。
引用
@article{arxiv.2103.07302,
title = {Siamese Infrared and Visible Light Fusion Network for RGB-T Tracking},
author = {Peng Jingchao and Zhao Haitao and Hu Zhengwei and Zhuang Yi and Wang Bofan},
journal= {arXiv preprint arXiv:2103.07302},
year = {2023}
}