基于运动建模的多目标跟踪同时检测与跟踪方法
计算机视觉与模式识别
2020-08-21 v1
摘要
基于深度学习的多目标跟踪（MOT）目前依赖现成检测器进行检测跟踪（tracking-by-detection）。这导致深度模型受检测器偏置、评估受检测器影响。为解决此问题，我们提出深度运动建模网络（DMM-Net），可估计多个目标的运动参数，以端到端方式执行联合检测与关联。DMM-Net对多帧上的目标特征建模，并同时推断目标类别、可见性及其运动参数。这些输出可直接用于更新轨迹以高效实现MOT。在流行的UA-DETRAC挑战赛上，DMM-Net取得PR-MOTA分数12.80 @ 120+ fps，性能更优且速度快数个数量级。我们还贡献了一个用于车辆跟踪的合成大规模公开数据集Omni-MOT，其提供精确真值标注以消除MOT评估中的检测器影响。该含14M+帧的数据集可通过我们的公开脚本扩展（代码见数据集<https://github.com/shijieS/OmniMOTDataset>、数据集记录器<https://github.com/shijieS/OMOTDRecorder>、Omni-MOT源码<https://github.com/shijieS/DMMN>）。我们借助DMMNet证明了Omni-MOT适用于深度学习，并公开了网络源码。
引用
@article{arxiv.2008.08826,
title = {Simultaneous Detection and Tracking with Motion Modelling for Multiple Object Tracking},
author = {ShiJie Sun and Naveed Akhtar and XiangYu Song and HuanSheng Song and Ajmal Mian and Mubarak Shah},
journal= {arXiv preprint arXiv:2008.08826},
year = {2020}
}
备注
25 pages, 9 figures, has been accepted by the ECCCV 2020