熟知周遭环境：基于多模态协作的全景多目标跟踪
计算机视觉与模式识别
2021-06-01 v1
摘要
在本文中，我们关注自动驾驶与机器人导航中的多目标跟踪（MOT）问题。大多数现有 MOT 方法使用单一 RGB 相机跟踪多个目标，易受相机视场限制，并因背景杂乱与光照条件差而在复杂场景中发生跟踪失败。为应对这些挑战，我们提出了一种多模态全景多目标跟踪框架（MMPAT），其以 2D 全景图像与 3D 点云作为输入，并利用多模态数据推断目标轨迹。所提方法包含四个主要模块：全景图像检测模块、多模态数据融合模块、数据关联模块与轨迹推断模型。我们在 JRDB 数据集上评估了所提方法，MMPAT 在检测与跟踪任务上均取得最佳性能，并以较大优势（在 AP 与 MOTA 上分别提升 15.7 与 8.5）显著优于最先进方法。
引用
@article{arxiv.2105.14683,
title = {Know Your Surroundings: Panoramic Multi-Object Tracking by Multimodality Collaboration},
author = {Yuhang He and Wentao Yu and Jie Han and Xing Wei and Xiaopeng Hong and Yihong Gong},
journal= {arXiv preprint arXiv:2105.14683},
year = {2021}
}