JRMOT：一种实时三维多目标跟踪器及一个新的大规模数据集
计算机视觉与模式识别
2020-07-23 v4 机器人学
摘要
自主导航的机器人需要感知并跟踪其周围物体及其他智能体的运动。这些信息使机器人能够规划并执行稳健且安全的轨迹。为便于这些过程，应在三维笛卡尔空间中感知运动。然而，近期大多数多目标跟踪（MOT）研究集中于在二维RGB视频序列中跟踪行人与移动物体。本文提出JRMOT，一种新颖的三维MOT系统，它融合RGB图像与三维点云信息，以实现实时、最先进的跟踪性能。我们的系统采用近期用于重识别、二维与三维检测及跟踪描述的神经网络，并将其整合至多模态递归卡尔曼架构下的联合概率数据关联框架中。作为工作的一部分，我们发布了JRDB数据集，这是一个新颖的大规模二维+三维数据集与基准，标注了超过200万个边界框以及跨越54个室内外场景的3500条时间一致的二维+三维轨迹。JRDB包含超过60分钟的数据，涵盖360度柱面RGB视频与社会场景中的三维点云，我们用以开发、训练并评估JRMOT。所提出的三维MOT系统在流行的二维跟踪KITTI基准上展现出优于对比方法的最先进性能，并作为我们基准的首个三维跟踪方案。在我们的社交机器人JackRabbot上的真实机器人测试表明，该系统能够快速且可靠地跟踪多个行人。我们在 https://sites.google.com/view/jrmot 提供跟踪器的ROS代码。
引用
@article{arxiv.2002.08397,
title = {JRMOT: A Real-Time 3D Multi-Object Tracker and a New Large-Scale Dataset},
author = {Abhijeet Shenoi and Mihir Patel and JunYoung Gwak and Patrick Goebel and Amir Sadeghian and Hamid Rezatofighi and Roberto Martín-Martín and Silvio Savarese},
journal= {arXiv preprint arXiv:2002.08397},
year = {2020}
}
备注
8 pages, 5 figures, 2 tables; Accepted at IROS 2020