M$^5$L：面向 RGBT 跟踪的多模态多边界度量学习
计算机视觉与模式识别
2020-03-18 v1
摘要
在 RGBT 跟踪过程中对混淆样本进行分类是一个颇具挑战性的问题，尚未得到令人满意的解决。现有方法仅关注扩大正样本与负样本之间的边界，然而样本的结构信息可能受损，例如混淆正样本比正常正样本更靠近锚点。为处理该问题，本文提出一种新颖的多模态多边界度量学习框架，称为 ML，用于 RGBT 跟踪。具体而言，我们设计了一种多边界结构化损失以区分对跟踪性能提升起最关键作用混淆样本。为缓解该问题，我们利用各模态中所有样本的结构信息，通过预定义边界额外扩大混淆正样本与正常正样本之间、混淆负样本与正常负样本之间的边界。此外，采用跨模态约束来减小模态间差异，并使得来自两个模态的正样本比负样本更靠近锚点。另外，为实现质量感知的 RGB 与热红外特征融合，我们引入模态注意力并在网络中通过特征融合模块学习它们。在大规模数据集上的大量实验证明我们的框架明显提升了跟踪性能，并优于当前最优的 RGBT 跟踪器。
引用
@article{arxiv.2003.07650,
title = {M$^5$L: Multi-Modal Multi-Margin Metric Learning for RGBT Tracking},
author = {Zhengzheng Tu and Chun Lin and Chenglong Li and Jin Tang and Bin Luo},
journal= {arXiv preprint arXiv:2003.07650},
year = {2020}
}
备注
11 pages, 7 figures