多适配器 RGBT 跟踪
计算机视觉与模式识别
2019-07-18 v1
摘要
RGBT 跟踪任务旨在利用可见光谱与热红外数据的互补优势来实现鲁棒的视觉跟踪，近年来受到越来越多的关注。现有工作侧重于通过引入模态权重来实现模态特定信息的整合，以达成自适应融合或学习不同模态的鲁棒特征表示。尽管这些方法能有效部署模态特定的属性，它们忽略了模态共享线索以及实例感知信息的潜在价值，而这些对于 RGBT 跟踪中不同模态的有效融合至关重要。本文中，我们提出一种新颖的多适配器卷积网络（MANet），以端到端训练的深层框架联合执行模态共享、模态特定和实例感知的特征学习用于 RGBT 跟踪。我们在网络中设计了三种适配器。具体而言，通用适配器用于提取共享对象表示，模态适配器旨在编码模态特定信息以部署其互补优势，实例适配器用于建模特定对象的外观属性与时间变化。此外，为降低视觉跟踪实时性需求的计算复杂度，我们设计了通用适配器与模态适配器的并行结构。在两个 RGBT 跟踪基准数据集上的大量实验证明了所提跟踪器相对于其他最先进的 RGB 与 RGBT 跟踪算法的优异性能。
引用
@article{arxiv.1907.07485,
title = {Multi-Adapter RGBT Tracking},
author = {Chenglong Li and Andong Lu and Aihua Zheng and Zhengzheng Tu and Jin Tang},
journal= {arXiv preprint arXiv:1907.07485},
year = {2019}
}
备注
Code site: https://github.com/Alexadlu/MANet