基于注意力检索的精确像素级目标跟踪
计算机视觉与模式识别
2021-11-03 v3
摘要
目标跟踪中对目标的编码近来从粗粒度边界框发展到细粒度分割图。重新审视能够在跟踪期间预测掩码的事实上的实时方法，我们观察到它们通常从骨干网络分叉出一个轻量分支用于分割。尽管高效，但直接融合骨干特征而不考虑背景杂波的负向影响往往会引入假阴性预测，拖累分割精度。为缓解该问题，我们提出注意力检索网络（ARN）对骨干特征施加软空间约束。我们首先在起始帧用真值掩码构建查找表（LUT），然后检索 LUT 获得用于空间约束的注意力图。此外，我们引入多分辨率多阶段分割网络（MMS），通过复用预测掩码过滤骨干特征来进一步削弱背景杂波的影响。我们的方法在近期像素级目标跟踪基准 VOT2020 上以 40 fps 运行速度树立了新 SOTA。值得注意的是，所提模型在 VOT2020、DAVIS2016 和 DAVIS2017 上分别超越 SiamMask 11.7/4.2/5.5 个点。我们将在 https://github.com/researchmm/TracKit 发布代码。
引用
@article{arxiv.2008.02745,
title = {Towards Accurate Pixel-wise Object Tracking by Attention Retrieval},
author = {Zhipeng Zhang and Bing Li and Weiming Hu and Houwen Peng},
journal= {arXiv preprint arXiv:2008.02745},
year = {2021}
}
备注
Some technical errors. We would provide new versions later