用于增强3D目标检测的多模态混合晚期级联融合网络
计算机视觉与模式识别
2026-01-15 v1 人工智能
机器人学
摘要
我们提出一种新颖的3D目标检测方法，利用LiDAR和RGB摄像机的多模态输入，采用混合晚期级联方案，将RGB检测网络与3D LiDAR检测器相结合。我们利用晚期融合原则减少LiDAR的误报，通过将LiDAR边界框投影到图像上与RGB检测结果匹配。我们依赖级联融合原则，通过RGB不同视角检测的锥体约束恢复LiDAR的漏报。我们的解决方案可插拔到任何底层单模态检测器之上，实现灵活的训练过程，能够利用预训练的LiDAR和RGB检测器，或单独训练两个分支。我们在KITTI目标检测基准测试中评估了结果，显示出显著的性能提升，尤其是对于行人和骑自行车者的检测。
引用
@article{arxiv.2504.18419,
title = {A Multimodal Hybrid Late-Cascade Fusion Network for Enhanced 3D Object Detection},
author = {Carlo Sgaravatti and Roberto Basla and Riccardo Pieroni and Matteo Corno and Sergio M. Savaresi and Luca Magri and Giacomo Boracchi},
journal= {arXiv preprint arXiv:2504.18419},
year = {2026}
}