RaLiBEV：基于雷达与LiDAR鸟瞰图融合学习的无锚框目标检测系统
计算机视觉与模式识别
2024-02-07 v5 人工智能
机器学习
摘要
在自动驾驶中，LiDAR与雷达对环境感知至关重要。LiDAR提供精确的3D空间感知信息，但在雾等恶劣天气下表现不佳。相反，雷达信号因其特定波长可穿透雨或雾，但易受噪声干扰。近期最先进的研究表明，雷达与LiDAR的融合可在恶劣天气下实现鲁棒检测。现有工作采用卷积神经网络架构从各传感器数据提取特征，然后对两分支特征进行对齐与聚合以预测目标检测结果。然而，由于标签分配与融合策略设计简单，这些方法预测边界框精度低。本文提出一种基于鸟瞰图融合学习的无锚框目标检测系统，其融合源自雷达距离-方位热图与LiDAR点云的特征以估计可能目标。设计了不同的标签分配策略，以促进前景或背景锚点分类与相应边界框回归之间的一致性。此外，通过采用一种新颖的交互式transformer模块进一步增强了所提检测器的性能。使用近期发布的Oxford Radar RobotCar数据集证明了本文方法的优越性能。在'Clear+Foggy'训练条件下，对于'Clear'与'Foggy'测试，我们的系统在交并比（IoU）为0.8时的平均精度分别显著优于最先进方法13.1%与19.0%。
引用
@article{arxiv.2211.06108,
title = {RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object Detection Systems},
author = {Yanlong Yang and Jianan Liu and Tao Huang and Qing-Long Han and Gang Ma and Bing Zhu},
journal= {arXiv preprint arXiv:2211.06108},
year = {2024}
}
备注
14 pages, 6 figures