HVDetFusion：一个简洁鲁棒的相机-雷达融合框架
计算机视觉与模式识别
2023-07-24 v1 人工智能
摘要
在自动驾驶领域，3D 目标检测是一项非常重要的感知模块。尽管当前 SOTA 算法融合了相机与激光雷达传感器，但受限于激光雷达的高昂价格，当前主流落地方案为纯相机传感器或相机+雷达传感器。在本研究中，我们提出了一种称为 HVDetFusion 的新检测算法，它是一种多模态检测算法，不仅支持纯相机数据作为输入进行检测，还能进行雷达数据与相机数据的融合输入。相机流不依赖于雷达数据的输入，从而解决了先前方法的弊端。在纯相机流中，我们改进了 Bevdet4D 的框架以获得更好的感知和更高效的推理，且该流具有完整的 3D 检测输出。进一步，为利用雷达信号的优点，我们根据雷达传感器记录的位置信息和径向速度信息，使用不同目标位置的先验信息来过滤原始雷达数据的假阳性信息，以补充和融合原始相机数据生成的 BEV 特征，并在融合训练过程中进一步提升效果。最终，HVDetFusion 在所有相机-雷达 3D 目标检测器中，于具有挑战性的 nuScenes 测试集上取得了 67.4% NDS 的新 state-of-the-art。代码见 https://github.com/HVXLab/HVDetFusion
引用
@article{arxiv.2307.11323,
title = {HVDetFusion: A Simple and Robust Camera-Radar Fusion Framework},
author = {Kai Lei and Zhan Chen and Shuman Jia and Xiaoteng Zhang},
journal= {arXiv preprint arXiv:2307.11323},
year = {2023}
}