用于高效RGB-T跟踪的统一单阶段Transformer网络
计算机视觉与模式识别
2023-08-29 v1 人工智能
摘要
大多数现有RGB-T跟踪网络以分离方式提取模态特征，缺乏模态间的交互与相互引导，这限制了网络适应目标多样双模态表观及模态间动态关系的能力。此外，这些网络遵循的三阶段融合跟踪范式严重制约了跟踪速度。为克服这些问题，我们提出一种统一单阶段Transformer的RGB-T跟踪网络，即USTrack，其通过自注意力机制将以上三阶段统一到具有双嵌入层的单一ViT(Vision Transformer)骨干网络中。借助该结构，网络可在模态相互交互下提取模板与搜索区域的融合特征。同时，在这些特征间进行关系建模，高效获得具有更优目标-背景判别性的搜索区域融合特征用于预测。此外，我们引入一种基于模态可靠性的新颖特征选择机制，以减轻无效模态对预测的影响，进一步提升跟踪性能。在三个流行RGB-T跟踪基准上的大量实验表明，我们的方法在保持最快推理速度84.2FPS的同时达到了新的SOTA性能。特别地，VTUAV数据集短期与长期子集上的MPR/MSR分别提升了11.1/11.7与11.3/9.7。
引用
@article{arxiv.2308.13764,
title = {Unified Single-Stage Transformer Network for Efficient RGB-T Tracking},
author = {Jianqiang Xia and DianXi Shi and Ke Song and Linna Song and XiaoLei Wang and Songchang Jin and Li Zhou and Yu Cheng and Lei Jin and Zheng Zhu and Jianan Li and Gang Wang and Junliang Xing and Jian Zhao},
journal= {arXiv preprint arXiv:2308.13764},
year = {2023}
}