LEF：用于激光雷达三维目标检测的晚到早时序融合
计算机视觉与模式识别
2023-10-02 v1 机器学习
机器人学
摘要
我们提出一种利用时序LiDAR点云进行3D目标检测的晚到早循环特征融合方案。主要动机是将物体感知的隐嵌入融合进3D目标检测器的早期阶段。与直接从原始点学习相比，该特征融合策略使模型能更好捕捉困难物体的形状与姿态。我们的方法以循环方式实施晚到早特征融合，通过对时序校准对齐的稀疏柱令牌施加基于窗口的注意力块实现。借助鸟瞰图前景柱分割，我们将模型需融合至当前帧的稀疏历史特征数量减少10。我们还提出随机长度FrameDrop训练技术，使模型在推理时泛化至可变帧长以提升性能而无需重训。我们在广泛采用的Waymo Open Dataset上评估方法，证明相较基线模型在3D目标检测上的提升，尤其对困难的大物体类别。
引用
@article{arxiv.2309.16870,
title = {LEF: Late-to-Early Temporal Fusion for LiDAR 3D Object Detection},
author = {Tong He and Pei Sun and Zhaoqi Leng and Chenxi Liu and Dragomir Anguelov and Mingxing Tan},
journal= {arXiv preprint arXiv:2309.16870},
year = {2023}
}