鲁棒的多模态多目标跟踪
计算机视觉与模式识别
2019-09-10 v1
摘要
多传感器感知对于确保自动驾驶系统的可靠性与准确性至关重要，而多目标跟踪（MOT）通过追踪动态物体的连续运动进一步提升该能力。当前大多数多传感器多目标跟踪方法要么因紧密依赖单一输入源（如中心相机）而缺乏可靠性，要么仅在后处理中融合多传感器结果而未充分利用固有信息，导致精度不足。在本研究中，我们设计了一个通用的传感器无关多模态 MOT 框架（mmMOT），其中每种模态（即传感器）均能独立发挥作用以保证可靠性，并通过一种新颖的多模态融合模块进一步提升精度。我们的 mmMOT 可以以端到端方式训练，实现对每种模态的基础特征提取器以及跨模态邻接估计器的联合优化。我们的 mmMOT 还首次尝试在 MOT 的数据关联过程中编码点云的深度表示。我们进行了大量实验，在具有挑战性的 KITTI 基准上评估所提框架的有效性，并报告了最先进的性能。代码与模型见 https://github.com/ZwwWayne/mmMOT。
引用
@article{arxiv.1909.03850,
title = {Robust Multi-Modality Multi-Object Tracking},
author = {Wenwei Zhang and Hui Zhou and Shuyang Sun and Zhe Wang and Jianping Shi and Chen Change Loy},
journal= {arXiv preprint arXiv:1909.03850},
year = {2019}
}
备注
To appear in ICCV 2019. Code and models are available at https://github.com/ZwwWayne/mmMOT