单目准稠密三维目标跟踪

一个可靠且准确的三维跟踪框架对于预测周围物体未来位置并规划观测者动作至关重要，在自动驾驶等众多应用中均是如此。我们提出了一种框架，能有效随时间关联运动物体，并从移动平台上捕获的二维图像序列估计其完整三维包围盒信息。物体关联利用准稠密相似度学习，仅借助外观线索识别不同姿态与视角下的物体。在初始二维关联后，我们进一步利用三维包围盒深度排序启发式方法进行鲁棒实例关联，并基于运动的轨迹预测对遮挡车辆重新识别。最后，基于 LSTM 的物体速度学习模块聚合长期轨迹信息以实现更精确的运动外推。在我们提出的仿真数据及包括 KITTI、nuScenes 和 Waymo 数据集在内的真实基准上的实验表明，我们的跟踪框架在城市驾驶场景下提供鲁棒的物体关联与跟踪。在 Waymo Open 基准上，我们建立了三维跟踪与三维检测挑战中首个仅相机的基线。我们的准稠密三维跟踪流程在 nuScenes 三维跟踪基准上取得显著提升，其跟踪精度接近所有已发表方法中最佳纯视觉提交的五倍。我们的代码、数据与训练模型见 https://github.com/SysCV/qd-3dt。