LXL:基于4D成像雷达与相机融合且排除激光雷达的轻量三维目标检测
计算机视觉与模式识别
2023-10-04 v4
摘要
作为一项新兴技术且相对廉价的设备,4D成像雷达已被证实在自动驾驶中执行三维目标检测有效。然而,4D雷达点云的稀疏性和噪声阻碍了性能的进一步提升,且关于其与其他模态融合的深入研究尚显不足。另一方面,作为一种新的图像视图变换策略,"采样"已被应用于少数基于图像的检测器,并显示出优于 Lift-Splat-Shoot (LSS) 中提出的被广泛应用的"基于深度的泼溅"方法,即便没有图像深度预测。然而,"采样"的潜力尚未被充分释放。本文研究了在基于相机与4D成像雷达融合的三维目标检测中的"采样"视图变换策略。LiDAR Excluded Lean (LXL) 模型分别从图像透视视图(PV)特征和雷达鸟瞰图(BEV)特征生成预测图像深度分布图和雷达三维占据栅格。它们被送入 LXL 的核心,称为"雷达占据辅助的基于深度的采样",以辅助图像视图变换。我们证明,通过引入图像深度和雷达信息来增强"采样"策略,可以执行更精确的视图变换。在 VoD 和 TJ4DRadSet 数据集上的实验表明,所提方法无需额外技巧即以显著优势优于最先进的(state-of-the-art, SOTA)三维目标检测方法。消融研究证明我们的方法在不同增强设置中表现最佳。
引用
@article{arxiv.2307.00724,
title = {LXL: LiDAR Excluded Lean 3D Object Detection with 4D Imaging Radar and Camera Fusion},
author = {Weiyi Xiong and Jianan Liu and Tao Huang and Qing-Long Han and Yuxuan Xia and Bing Zhu},
journal= {arXiv preprint arXiv:2307.00724},
year = {2023}
}
备注
Accepted by IEEE Transactions on Intelligent Vehicles