基于交叉校正的 CrossTracker：鲁棒的多模态 3D 多目标跟踪
计算机视觉与模式识别
2024-12-02 v1
摘要
摄像头和激光雷达（LiDAR）检测的融合是缓解 3D 多目标跟踪（MOT）跟踪失败的有前景的解决方案。然而，现有方法主要利用摄像头检测来纠正由潜在激光雷达检测问题引起的跟踪失败，忽略了利用 LiDAR 数据来细化摄像头检测的互惠效益。这一局限性源于其单阶段架构，类似于单阶段目标检测器，缺乏专门的轨迹细化模块以充分利用多模态信息的互补性。为此，我们引入CrossTracker，这是一个新的两阶段方法，用于在线多模态 3D MOT。CrossTracker以粗到细的方式运行，首先生成粗糙轨迹，然后通过独立的细化过程来细化它们。具体而言，CrossTracker包含三个关键模块：i) 多模态建模（）模块，通过融合多模态信息（图像、点云以及即从图像中提取的平面几何），为后续轨迹生成提供稳健的度量。ii) 粗糙轨迹生成（C-TG）模块，用于生成初始的粗糙双流轨迹。iii) 轨迹细化（TR）模块，通过摄像头和 LiDAR 流之间的交叉校正来细化粗糙轨迹。综合实验表明，CrossTracker 在其 18 位竞争者中取得了卓越的性能，凸显了其在充分利用摄像头和 LiDAR 传感器协同优势方面的有效性。
引用
@article{arxiv.2411.18850,
title = {CrossTracker: Robust Multi-modal 3D Multi-Object Tracking via Cross Correction},
author = {Lipeng Gu and Xuefeng Yan and Weiming Wang and Honghua Chen and Dingkun Zhu and Liangliang Nan and Mingqiang Wei},
journal= {arXiv preprint arXiv:2411.18850},
year = {2024}
}