GCNNMatch:基于图卷积神经网络与Sinkhorn归一化的多目标跟踪
计算机视觉与模式识别
2021-04-19 v4
摘要
本文提出一种新颖的在线多目标跟踪(MOT)方法,使用基于图卷积神经网络(GCNN)的特征提取和端到端特征匹配进行目标关联。这种基于图的方法将过去帧以及当前帧中目标的外观和几何信息都纳入特征学习的任务中。这一新范式使网络能够利用目标几何的“上下文”信息,并允许我们对多个目标特征之间的交互进行建模。我们提出的框架另一个核心创新是在模型训练期间使用Sinkhorn算法进行目标间关联的端到端学习。该网络在预测目标关联时被训练以考虑MOT任务特有的约束。实验结果证明了所提方法在MOT '15、'16、'17和'20挑战赛中以当前最优在线方法取得顶尖性能的有效性。代码可在https://github.com/IPapakis/GCNNMatch获取。
引用
@article{arxiv.2010.00067,
title = {GCNNMatch: Graph Convolutional Neural Networks for Multi-Object Tracking via Sinkhorn Normalization},
author = {Ioannis Papakis and Abhijit Sarkar and Anuj Karpatne},
journal= {arXiv preprint arXiv:2010.00067},
year = {2021}
}