SimpleBEV：改进的 LiDAR-相机融合架构用于 3D 目标检测
计算机视觉与模式识别
2024-11-11 v1 人工智能
摘要
越来越多的研究将 LiDAR 和相机信息融合以提升自动驾驶系统的 3D 目标检测性能。最近，一种简单而有效的融合框架通过在统一的鸟瞰图（BEV）空间中融合 LiDAR 和相机特征，取得了优异的检测性能。本文提出了一种名为 SimpleBEV 的 LiDAR-相机融合框架，用于精确的 3D 目标检测，该框架遵循基于 BEV 的融合框架，并分别改进了相机和 LiDAR 编码器。具体而言，我们通过级联网络进行基于相机的深度估计，并利用来自 LiDAR 点的深度信息对深度结果进行校正。同时，引入了一个仅使用相机-BEV 特征进行 3D 目标检测的辅助分支，以在训练阶段利用相机信息。此外，我们通过融合多尺度稀疏卷积特征来改进 LiDAR 特征提取器。实验结果证明了所提方法的有效性。我们的方法在 nuScenes 数据集上实现了 77.6% 的 NDS 准确率，展示了在 3D 目标检测任务上的优越性能。
引用
@article{arxiv.2411.05292,
title = {SimpleBEV: Improved LiDAR-Camera Fusion Architecture for 3D Object Detection},
author = {Yun Zhao and Zhan Gong and Peiru Zheng and Hong Zhu and Shaohua Wu},
journal= {arXiv preprint arXiv:2411.05292},
year = {2024}
}