FGFusion：用于 3D 目标检测的细粒度激光雷达-相机融合
计算机视觉与模式识别
2023-09-22 v1
摘要
激光雷达和相机是自动驾驶中提供互补信息以进行 3D 检测的关键传感器。尽管大多数主流方法逐步下采样 3D 点云与相机图像，然后融合高层特征，但下采样特征不可避免地丢失底层细节信息。本文提出细粒度激光雷达-相机融合（FGFusion），充分利用图像与点云的多尺度特征并以细粒度方式融合。首先，我们设计双通路层次结构以提取图像的高层语义与底层细节特征。其次，引入辅助网络引导点云特征更好地学习细粒度空间信息。最后，提出多尺度融合（MSF）以融合图像与点云的最后 N 个特征图。在 KITTI 和 Waymo 两个主流自动驾驶基准上的大量实验证明了本方法的有效性。
引用
@article{arxiv.2309.11804,
title = {FGFusion: Fine-Grained Lidar-Camera Fusion for 3D Object Detection},
author = {Zixuan Yin and Han Sun and Ningzhong Liu and Huiyu Zhou and Jiaquan Shen},
journal= {arXiv preprint arXiv:2309.11804},
year = {2023}
}
备注
accepted by PRCV2023, code: https://github.com/XavierGrool/FGFusion