ShaSTA-Fuse：融合相机与LiDAR传感器以建模形状与时空亲和力的3D多目标跟踪
计算机视觉与模式识别
2023-10-05 v1
摘要
3D多目标跟踪(MOT)对于自主移动智能体安全导航场景至关重要。为最大化自主智能体的感知能力，我们旨在开发一个融合相机与LiDAR传感器信息的3D MOT框架。基于我们先前仅用LiDAR的工作ShaSTA（其为3D MOT建模形状与时空亲和力），我们提出一种新颖的相机-LiDAR融合方法来学习亲和力。本工作的核心在于提出一种融合技术，生成包含深度与远处物体信息的丰富感知信号，以增强亲和力估计，从而改进数据关联、航迹生命周期管理、假阳性消除、假阴性传播以及航迹置信度分数精炼。我们的主要贡献包括：一种融合相机与LiDAR感知信号以学习亲和力的新颖融合方法，以及一种首创的融合2D与3D检测的多模态序贯航迹置信度精炼技术。此外，我们对每个融合步骤进行消融分析，以展示引入相机传感器所带来的增益，尤其对于易受热传感极限与LiDAR传感器稀疏性影响的小尺寸、远处物体。总之，在使用CenterPoint检测的多模态3D MOT算法中，我们的技术在nuScenes基准上取得了最先进性能。
引用
@article{arxiv.2310.02532,
title = {ShaSTA-Fuse: Camera-LiDAR Sensor Fusion to Model Shape and Spatio-Temporal Affinities for 3D Multi-Object Tracking},
author = {Tara Sadjadpour and Rares Ambrus and Jeannette Bohg},
journal= {arXiv preprint arXiv:2310.02532},
year = {2023}
}
备注
8 pages, 1 figure