基于边界框匹配的多模态三维目标检测
信号处理
2023-09-22 v2 人工智能
摘要
多模态三维目标检测因来自不同传感器（如LiDAR和相机）的信息具有互补性而受到越来越多的关注。大多数用于三维检测的融合方法依赖于三维点云与RGB图像之间的精确对齐与标定。然而，这种假设在真实自动驾驶系统中并不可靠，因为不同模态间的对齐很容易受到传感器异步和传感器放置扰动的影响。我们提出了一种新颖的通过边界框匹配（FBMNet）的融合网络用于多模态三维检测，其通过学习边界框级别的对应关系来实现跨模态特征对齐，从而在推理时解除对标定的依赖。通过学习到的三维与二维目标候选之间的分配关系，可通过组合其ROI特征来有效执行检测融合。在nuScenes数据集上的大量实验表明，与现有融合方法相比，我们的方法在处理异步传感器、错位的传感器放置和退化的相机图像等挑战性情况时稳定得多。我们希望我们的FBMNet能为真实自动驾驶场景中安全地处理这些挑战性情况提供可行方案。代码将公开于https://github.com/happinesslz/FBMNet。
引用
@article{arxiv.2305.07712,
title = {Poisson-Gaussian Holographic Phase Retrieval with Score-based Image Prior},
author = {Zongyu Li and Jason Hu and Xiaojian Xu and Liyue Shen and Jeffrey A. Fessler},
journal= {arXiv preprint arXiv:2305.07712},
year = {2023}
}