通过散射图像标注的弱监督 LiDAR 语义分割
计算机视觉与模式识别
2024-08-13 v2
摘要
弱监督 LiDAR 语义分割在有限标注数据方面取得了显著进展。然而，现有大多数方法侧重于弱监督下的网络训练，而高效的标注策略在很大程度上仍未被探索。为了填补这一空白，我们利用散射图像标注实现了 LiDAR 语义分割，有效地将高效标注策略与网络训练相结合。具体而言，我们提出采用散射图像来标注 LiDAR 点云，结合预训练的光流估计网络与基础图像分割模型，将人工标注快速传播为图像和点云的密集标签。此外，我们提出了 ScatterNet，该网络包含三个关键策略以减小此类标注造成的性能差距。首先，它利用密集语义标签作为图像分支的监督，缓解点云与图像之间的模态不平衡。其次，提出一个中间融合分支以获取多模态纹理和结构特征。最后，引入感知一致性损失以确定在融合过程中哪些信息需要融合，哪些需要丢弃。在 nuScenes 和 SemanticKITTI 数据集上的大量实验表明，我们的方法仅需不到 0.02% 的标注点即可达到全监督方法 95% 以上的性能。值得注意的是，我们的标注点仅为最先进的弱监督方法所用标注点的 5%。
引用
@article{arxiv.2404.12861,
title = {Weakly Supervised LiDAR Semantic Segmentation via Scatter Image Annotation},
author = {Yilong Chen and Zongyi Xu and xiaoshui Huang and Ruicheng Zhang and Xinqi Jiang and Xinbo Gao},
journal= {arXiv preprint arXiv:2404.12861},
year = {2024}
}