CoBEVFusion：基于LiDAR-相机鸟瞰图融合的协同感知
计算机视觉与模式识别
2023-10-11 v1
摘要
自动驾驶车辆（AVs）使用多种传感器来收集周围环境的信息。通过联网自动驾驶车辆（CAVs）之间共享传感器数据，可以通过一种称为协同感知的概念来提高这些车辆的安全性和可靠性。然而，近期的协同感知方法仅共享单一传感器信息，如相机或LiDAR。在本研究中，我们探索多传感器数据源的融合，并提出一个名为CoBEVFusion的框架，该框架融合LiDAR和相机数据以创建鸟瞰图（BEV）表示。CAVs在本地处理多模态数据，并利用基于双窗口的交叉注意力（DWCA）模块将LiDAR和相机特征融合为统一的BEV表示。融合后的BEV特征图在CAVs之间共享，并应用三维卷积神经网络来聚合来自CAVs的特征。我们的CoBEVFusion框架在协同感知数据集OPV2V上针对两项感知任务进行了评估：BEV语义分割和3D目标检测。结果表明，我们的DWCA LiDAR-相机融合模型优于使用单模态数据的感知模型以及最先进的BEV融合模型。我们整体的协同感知架构CoBEVFusion也取得了与其他协同感知模型相当的性能。
引用
@article{arxiv.2310.06008,
title = {CoBEVFusion: Cooperative Perception with LiDAR-Camera Bird's-Eye View Fusion},
author = {Donghao Qiao and Farhana Zulkernine},
journal= {arXiv preprint arXiv:2310.06008},
year = {2023}
}