使用基于 CNN 的单目标跟踪器与时空注意力机制进行在线多目标跟踪
计算机视觉与模式识别
2017-08-15 v2
摘要
在本文中，我们提出了一个基于 CNN 的在线多目标跟踪框架。该框架利用了单目标跟踪器在自适应外观模型和在下一帧中搜索目标方面的优势。简单地将单目标跟踪器应用于多目标跟踪会遇到计算效率问题以及由遮挡引起的漂移结果。我们的框架通过共享特征并使用 ROI-Pooling 为每个目标获取个体特征来实现计算效率。一些在线学习的目标特定 CNN 层用于自适应每个目标的外观模型。在该框架中，我们引入了时空注意力机制（STAM）来处理由目标之间的遮挡和相互作用引起的漂移。学习目标可见性图并用于推断空间注意力图。然后将空间注意力图应用于对特征进行加权。此外，可以从可见性图估计遮挡状态，这通过在不同帧中对具有不同遮挡状态的训练样本施加加权损失来控制在线更新过程。这可以被视为时间注意力机制。所提出的算法在具有挑战性的 MOT15 和 MOT16 基准数据集上的 MOTA 分别达到了 34.3% 和 46.0%。
引用
@article{arxiv.1708.02843,
title = {Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention Mechanism},
author = {Qi Chu and Wanli Ouyang and Hongsheng Li and Xiaogang Wang and Bin Liu and Nenghai Yu},
journal= {arXiv preprint arXiv:1708.02843},
year = {2017}
}
备注
Accepted at International Conference on Computer Vision (ICCV) 2017