Temp-Frustum Net：基于时间融合的三维目标检测
计算机视觉与模式识别
2021-05-24 v2
摘要
三维目标检测是自动驾驶系统的核心组件。最先进的方法逐帧融合 RGB 图像与 LiDAR 点云数据进行三维边界框回归。然而，逐帧三维目标检测受噪声、视野遮挡与稀疏性影响。我们提出一种新颖的时间融合模块（TFM），利用先前时间步的信息来缓解这些问题。首先，一个最先进的视锥网络逐帧从原始 RGB 与 LiDAR 点云数据中提取点云特征。然后，我们的 TFM 模块利用循环神经网络融合这些特征。因此，三维目标检测对单帧失效与瞬时遮挡变得鲁棒。在 KITTI 目标跟踪数据集上的实验表明了所提 TFM 的有效性，与逐帧基线相比，我们在 Car、Pedestrian 和 Cyclist 类别上分别获得约 6%、约 4% 和约 6% 的提升。此外，消融实验进一步证实改进来源于时间融合，并展示了 TFM 在目标检测流水线中不同放置位置的影响。我们的代码已开源，地址为 https://github.com/emecercelik/Temp-Frustum-Net.git。
引用
@article{arxiv.2104.12106,
title = {Temp-Frustum Net: 3D Object Detection with Temporal Fusion},
author = {Emeç Erçelik and Ekim Yurtsever and Alois Knoll},
journal= {arXiv preprint arXiv:2104.12106},
year = {2021}
}
备注
To be published in 32nd IEEE Intelligent Vehicles Symposium