Minkowski Tracker：一种用于联合目标检测与跟踪的稀疏时空R-CNN
计算机视觉与模式识别
2022-08-29 v3
摘要
多任务学习近期的研究揭示了在单一神经网络中求解相关问题的益处。3D目标检测与多目标跟踪（MOT）是两个紧密交织的问题，需在时间上预测并关联目标实例的位置。然而，以往3D MOT的大多数工作将检测器视为前置的分离流水线，将检测器输出作为跟踪器的输入 disjointly 处理。本工作中，我们提出Minkowski Tracker，一种联合求解目标检测与跟踪的稀疏时空R-CNN。受基于区域的CNN（R-CNN）启发，我们提出将跟踪求解为目标检测器R-CNN的第二阶段，预测到各轨迹的分配概率。首先，Minkowski Tracker以4D点云为输入，通过4D稀疏卷积编码网络生成时空鸟瞰图（BEV）特征图。随后，我们提出的TrackAlign从BEV特征中聚合轨迹感兴趣区域（ROI）特征。最后，Minkowski Tracker基于从ROI特征预测的检测到轨迹匹配概率更新轨迹及其置信度分数。我们在大规模实验中表明，我们方法的整体性能提升源于四个因素：1. 4D编码器的时间推理提升了检测性能；2. 目标检测与MOT的多任务学习相互增强；3. 检测到轨迹匹配分数学习隐式运动模型以增强轨迹分配；4. 检测到轨迹匹配分数提升了轨迹置信度分数的质量。因此，Minkowski Tracker在无需手工设计运动模型的情况下，于Nuscenes数据集跟踪任务上取得了最先进（SOTA）性能。
引用
@article{arxiv.2208.10056,
title = {Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking},
author = {JunYoung Gwak and Silvio Savarese and Jeannette Bohg},
journal= {arXiv preprint arXiv:2208.10056},
year = {2022}
}