ClusterFusion：利用雷达空间特征实现自动驾驶中雷达-相机三维目标检测
计算机视觉与模式识别
2023-11-07 v2
摘要
得益于毫米波雷达与相机的互补特性，基于深度学习的雷达-相机三维目标检测方法即使在低能见度条件下也能可靠地产生准确的检测结果。这使得它们更适用于自动驾驶车辆的感知系统，尤其是因为这两种传感器的综合成本低于激光雷达的成本。近期的雷达-相机方法通常进行特征级融合，往往涉及将雷达点投影到与图像特征相同的平面上，并融合来自两种模态的提取特征。虽然在图像平面上进行融合通常更简单、更快速，但将雷达点投影到图像平面会压平点云的深度维度，这可能导致信息丢失，并使提取点云的空间特征更加困难。我们提出了 ClusterFusion，一种通过对点云进行聚类并在将点云特征投影到图像平面之前直接在点云簇上执行特征提取，从而利用雷达点云局部空间特征的架构。ClusterFusion 在 nuScenes 数据集的测试切片上以 48.7% 的 nuScenes 检测分数（NDS）在所有雷达-单目相机方法中取得了最先进的性能。我们还研究了不同雷达特征提取策略在点云簇上的性能：一种手工设计策略、一种基于学习的策略以及两者的结合，发现手工设计策略取得了最佳性能。本工作的主要目标是通过从雷达点云簇中直接提取雷达的局部空间和点级特征，探索用于一种在图像平面上执行跨模态特征融合的雷达-单目相机三维目标检测方法。
引用
@article{arxiv.2309.03734,
title = {ClusterFusion: Leveraging Radar Spatial Features for Radar-Camera 3D Object Detection in Autonomous Vehicles},
author = {Irfan Tito Kurniawan and Bambang Riyanto Trilaksono},
journal= {arXiv preprint arXiv:2309.03734},
year = {2023}
}
备注
Accepted for publication in IEEE Access