InfraDet3D：基于路侧基础设施相机与 LiDAR 传感器的多模态 3D 目标检测
计算机视觉与模式识别
2023-05-02 v1
摘要
当前的多模态目标检测方法聚焦于车载域，在感知范围和处理能力上受限。路侧传感单元（RSUs）为感知系统引入了新的域，并利用高度来观察交通。安装在门架桥上的相机和 LiDAR 增加了感知范围并生成交通的完整数字孪生。在本文中，我们提出 InfraDet3D，一种面向路侧基础设施传感器的多模态 3D 目标检测器。我们使用早期融合融合两个 LiDAR，并进一步结合单目相机的检测结果以提升鲁棒性并检测小物体。我们的单目 3D 检测模块使用高清地图来锚定物体偏航假设，改善最终感知结果。该感知框架部署于德国慕尼黑 A9 测试路段中的一个真实世界交叉口。我们进行了若干消融研究与实验，表明融合两个 LiDAR 与两个相机相比仅相机方案带来了 +1.90 mAP 的提升。我们在 A9 基础设施数据集上评估了结果，并在测试集上达到 68.48 mAP。数据集与代码将发布于 https://a9-dataset.com，以允许研究界进一步改善感知结果并使自动驾驶更安全。
引用
@article{arxiv.2305.00314,
title = {InfraDet3D: Multi-Modal 3D Object Detection based on Roadside Infrastructure Camera and LiDAR Sensors},
author = {Walter Zimmer and Joseph Birkner and Marcel Brucker and Huu Tung Nguyen and Stefan Petrovski and Bohan Wang and Alois C. Knoll},
journal= {arXiv preprint arXiv:2305.00314},
year = {2023}
}