面向热红外跟踪的无监督跨模态蒸馏
计算机视觉与模式识别
2021-08-03 v1
摘要
卷积神经网络学习得到的目标表示在热红外(TIR)跟踪中起着重要作用。当前，多数顶尖的TIR跟踪器仍采用在RGB数据上训练的模型所学得的表示。然而，该表示未考虑TIR模态自身的信息，限制了TIR跟踪的性能。为解决此问题，我们提出在大量无标签成对的RGB-TIR数据上，通过跨模态蒸馏(CMD)从RGB模态向TIR模态蒸馏表示。我们利用基线跟踪器（即DiMP）的双分支架构，对跟踪器的两个组件进行跨模态蒸馏。具体而言，我们将一个分支作为教师模块，将模型学到的表示蒸馏至另一分支。受益于RGB模态中强大的模型，跨模态蒸馏可学习TIR特有的表示以提升TIR跟踪。所提方法可作为通用且独立的组件便捷地嵌入不同基线跟踪器。此外，成对RGB与TIR图像的语义一致性被用作蒸馏损失中的监督信号以实现跨模态知识迁移。实践中，我们探索了三种不同方法以无监督方式生成语义相同的成对RGB-TIR块用于训练，且易于扩展至更大规模的无标签训练数据。在LSOTB-TIR与PTB-TIR数据集上的大量实验表明，我们所提跨模态蒸馏方法能有效学习从RGB模态迁移来的TIR特有目标表示。我们的跟踪器相较基线跟踪器分别取得2.3% Success、2.7% Precision与2.5% Normalized Precision的绝对提升。
引用
@article{arxiv.2108.00187,
title = {Unsupervised Cross-Modal Distillation for Thermal Infrared Tracking},
author = {Jingxian Sun and Lichao Zhang and Yufei Zha and Abel Gonzalez-Garcia and Peng Zhang and Wei Huang and Yanning Zhang},
journal= {arXiv preprint arXiv:2108.00187},
year = {2021}
}
备注
Accepted at ACM MM 2021. Code and models are available at https://github.com/zhanglichao/cmdTIRtracking