LIF-Seg：用于 3D LiDAR 语义分割的激光雷达与相机图像融合
计算机视觉与模式识别
2021-08-18 v1
摘要
相机和 3D LiDAR 传感器已成为现代自动驾驶车辆中不可或缺的设备，其中相机提供 2D 空间中细粒度的纹理、颜色信息，而 LiDAR 捕获周围环境更精确和更远的深度测量。这两种传感器的互补信息使得双模态融合成为理想选择。然而，相机与 LiDAR 融合的两个主要问题阻碍其性能，即如何有效融合这两种模态以及如何精确对齐它们（受弱时空同步问题困扰）。在本文中，我们提出一种基于由粗到细的 LiDAR 与相机融合网络（称为 LIF-Seg）用于 LiDAR 分割。针对第一个问题，与以往以一对一方式融合点云和图像信息的作品不同，所提方法充分利用图像的上下文信息并引入简单但有效的早期融合策略。其次，由于弱时空同步问题，设计了偏移校正方法来对齐这两种模态特征。这两个组件的协作导致了有效的相机-LiDAR 融合的成功。在 nuScenes 数据集上的实验结果表明所提 LIF-Seg 以较大优势优于现有方法。消融研究和分析表明我们提出的 LIF-Seg 能有效解决弱时空同步问题。
引用
@article{arxiv.2108.07511,
title = {LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation},
author = {Lin Zhao and Hui Zhou and Xinge Zhu and Xiao Song and Hongsheng Li and Wenbing Tao},
journal= {arXiv preprint arXiv:2108.07511},
year = {2021}
}