LWSIS:面向自动驾驶的激光雷达引导弱监督实例分割
计算机视觉与模式识别
2023-01-20 v2 人工智能
摘要
图像实例分割是自动驾驶中的基础研究课题,对场景理解与道路安全至关重要。先进的基于学习的方法通常依赖昂贵的 2D 掩码标注进行训练。本文提出一个更巧妙的框架——激光雷达引导弱监督实例分割(LWSIS),其利用现成的 3D 数据(即点云)与 3D 框作为自然弱监督来训练 2D 图像实例分割模型。我们的 LWSIS 不仅在训练中利用了多模态数据中的互补信息,还显著降低了密集 2D 掩码的标注成本。具体而言,LWSIS 包含两个关键模块:点标签分配(PLA)与基于图的一致性正则化(GCR)。前者旨在自动将 3D 点云赋为 2D 点级标签,后者通过强化多模态数据的几何与外观一致性进一步精炼预测。此外,我们在 nuScenes 上进行了二次实例分割标注,命名为 nuInsSeg,以推动多模态感知任务的进一步研究。在 nuInsSeg 及大规模 Waymo 上的大量实验表明,LWSIS 仅通过在训练中加入 3D 数据即可大幅改进现有弱监督分割模型。此外,LWSIS 也可嵌入 PointPainting 等 3D 目标检测器,免费提升 3D 检测性能。代码与数据集发布于 https://github.com/Serenos/LWSIS。
引用
@article{arxiv.2212.03504,
title = {LWSIS: LiDAR-guided Weakly Supervised Instance Segmentation for Autonomous Driving},
author = {Xiang Li and Junbo Yin and Botian Shi and Yikang Li and Ruigang Yang and Jianbing Shen},
journal= {arXiv preprint arXiv:2212.03504},
year = {2023}
}
备注
AAAI2023