面向热红外目标跟踪的分层空间感知孪生网络

大多数热红外（TIR）跟踪方法为判别式的，将跟踪问题视为分类任务。然而，分类器的目标（标签预测）与跟踪器的目标（位置估计）并不耦合。分类任务关注任意对象之间的类间差异，而跟踪任务主要处理同一对象的类内差异。本文中，我们将 TIR 跟踪问题视为相似性验证任务，其与跟踪任务的目标良好耦合。我们提出一种通过分层空间感知孪生卷积神经网络（CNN）的 TIR 跟踪器，名为 HSSNet。为获得 TIR 对象的空间与语义特征，我们设计了一个融合多个分层卷积层的孪生 CNN。随后，我们提出一种空间感知网络以增强融合分层特征的判别能力。接着，我们在一个大规模可见光视频检测数据集上端到端训练该网络，以学习成对对象间的相似性，之后将网络迁移至 TIR 域。接下来，该预训练孪生网络用于评估目标模板与目标候选间的相似性。最后，我们定位与已跟踪目标最相似的候选。在基准 VOT-TIR 2015 与 VOT-TIR 2016 上的大量实验结果表明，与 SOTA 方法相比，我们所提方法取得了良好的性能。