在孪生跟踪器中学习融合非对称特征图
计算机视觉与模式识别
2021-04-01 v2 机器学习
图像与视频处理
摘要
近年来，基于孪生的跟踪器在视觉跟踪中取得了令人瞩目的性能。大多数近期基于孪生的跟踪器通常采用深度交叉相关（DW-XCorr）从两个特征图（目标与搜索区域）中获取多通道相关信息。然而，DW-XCorr 在基于孪生的跟踪中存在若干局限：易被干扰物欺骗、激活通道较少、对目标边界区分能力弱。此外，DW-XCorr 是手工设计的无参数模块，无法充分受益于大规模数据的离线学习。我们提出一个可学习模块，称为非对称卷积（ACM），它学习在大规模数据离线训练中更好地捕获语义相关信息。不同于将单一特征图视为卷积核的 DW-XCorr 及其前身（XCorr），我们的 ACM 将拼接特征图上的卷积操作分解为两个数学等价操作，从而避免了拼接时特征图尺寸（宽和高）必须相同的要求。我们的 ACM 可将边界框尺寸等有用先验信息与标准视觉特征结合。此外，ACM 可轻松集成到基于 DW-XCorr 或 XCorr 的现有孪生跟踪器中。为证明其泛化能力，我们将 ACM 集成到三个代表性跟踪器：SiamFC、SiamRPN++ 和 SiamBAN。我们的实验揭示了所提 ACM 的优势，在六个跟踪基准上优于现有方法。在 LaSOT 测试集上，我们基于 ACM 的跟踪器在成功度（AUC）上比基线显著提升 5.8%。
引用
@article{arxiv.2012.02776,
title = {Learning to Fuse Asymmetric Feature Maps in Siamese Trackers},
author = {Wencheng Han and Xingping Dong and Fahad Shahbaz Khan and Ling Shao and Jianbing Shen},
journal= {arXiv preprint arXiv:2012.02776},
year = {2021}
}
备注
Accepted by CVPR2021