DeepFusion：一种面向激光雷达、相机与毫米波雷达的鲁棒模块化 3D 目标检测器
计算机视觉与模式识别
2022-09-28 v2 人工智能
机器学习
机器人学
摘要
我们提出 DeepFusion，一种模块化多模态架构，用于以不同组合融合激光雷达、相机和毫米波雷达以进行 3D 目标检测。专用特征提取器利用各模态优势且可轻松替换，使方法简单灵活。提取的特征被变换为鸟瞰图作为融合的通用表示。在特征空间中融合模态前先进行空间与语义对齐。最后，检测头利用丰富的多模态特征提升 3D 检测性能。激光雷达-相机、激光雷达-相机-毫米波雷达和相机-毫米波雷达融合的实验结果展示了我们融合方法的灵活性与有效性。在此过程中，我们研究了极少被探索的远至 225 米的远处车辆检测任务，展示了激光雷达-相机融合的益处。此外，我们考察了 3D 目标检测所需激光雷达点密度，并以对抗恶劣天气条件鲁棒性为例说明其影响。而且，对相机-毫米波雷达融合的消融研究凸显了精确深度估计的重要性。
引用
@article{arxiv.2209.12729,
title = {DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars},
author = {Florian Drews and Di Feng and Florian Faion and Lars Rosenbaum and Michael Ulrich and Claudius Gläser},
journal= {arXiv preprint arXiv:2209.12729},
year = {2022}
}