中心特征融合：基于中心物体的选择性多传感器融合
计算机视觉与模式识别
2023-04-28 v2
摘要
利用多模态融合，尤其是相机与LiDAR之间的融合，已成为构建精确且鲁棒的自动驾驶车辆三维物体检测系统的关键。直到最近，点装饰方法（即用相机特征增强点云）一直是该领域的主流方法。然而，这些方法未能利用相机更高分辨率的图像。近期也有研究将相机特征投影到鸟瞰图（BEV）空间进行融合，但它们需要投影数百万像素，其中大多数仅包含背景信息。在本工作中，我们提出一种新方法——中心特征融合（CFF），利用相机和LiDAR流中基于中心的检测网络来识别相关物体位置。随后我们使用基于中心的检测来定位与物体位置相关的像素特征（仅占图像中总特征的一小部分），并将其投影到BEV帧中融合。在nuScenes数据集上，我们相比仅用LiDAR的基线提升了4.9% mAP，同时融合的特征数量比其他融合方法最多少100倍。
引用
@article{arxiv.2209.12880,
title = {Center Feature Fusion: Selective Multi-Sensor Fusion of Center-based Objects},
author = {Philip Jacobson and Yiyang Zhou and Wei Zhan and Masayoshi Tomizuka and Ming C. Wu},
journal= {arXiv preprint arXiv:2209.12880},
year = {2023}
}
备注
Accepted by ICRA 2023