GNN3DMOT：基于图神经网络与多特征学习的3D多目标跟踪
计算机视觉与模式识别
2020-06-15 v1 机器学习
图像与视频处理
摘要
3D多目标跟踪（MOT）对自主系统至关重要。近期工作采用标准的基于检测的跟踪流程，其中首先对每个目标独立进行特征提取以计算亲和矩阵，然后将亲和矩阵传递给匈牙利算法进行数据关联。该标准流程的一个关键过程是学习不同目标的判别性特征，以减少数据关联中的混淆。本工作中，我们提出两种技术来改进MOT的判别性特征学习：（1）我们提出一种新颖的特征交互机制，通过引入图神经网络，而非独立获取每个目标的特征。结果，一个目标的特征会感知到其他目标的特征，从而使其特征向具有相似特征的目标（即可能具有相同ID的目标）靠拢，并远离特征不相似的目标（即可能具有不同ID的目标），为每个目标产生更具判别性的特征；（2）我们提出一种新颖的联合特征提取器，同时从2D和3D空间学习外观和运动特征，而非像先前工作那样仅从2D或3D空间获取特征。由于不同模态的特征通常具有互补信息，联合特征比单一模态的特征更具判别性。为确保联合特征提取器不过度依赖某一模态，我们还提出了一种集成训练范式。通过广泛评估，我们提出的方法在KITTI和nuScenes 3D MOT基准上取得了最先进的性能。我们的代码将发布于https://github.com/xinshuoweng/GNN3DMOT。
引用
@article{arxiv.2006.07327,
title = {GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning},
author = {Xinshuo Weng and Yongxin Wang and Yunze Man and Kris Kitani},
journal= {arXiv preprint arXiv:2006.07327},
year = {2020}
}
备注
CVPR 2020. My website for all my research works: http://www.xinshuoweng.com/