面向弱监督与半监督三维语义分割的二维特征蒸馏
计算机视觉与模式识别
2023-11-28 v1
摘要
随着三维感知问题日益流行，以及 LiDAR 语义分割对大规模标注数据集需求的增长，涌现出旨在通过对弱监督训练来减少密集标注需求的新方法。然而这些方法在边界估计上仍表现薄弱，且对小物体和远处稀疏区域存在高漏检率。我们认为此类弱点可通过使用提供更密集场景表示的 RGB 图像来弥补。我们提出了一种图像引导网络（IGNet），其基于从域适应的合成训练二维语义分割网络中蒸馏高层特征信息的思想。我们进一步利用单向对比学习方案以及一种称为 FOVMix 的新颖混合策略，以克服两个传感器间的水平视场失配并增强图像引导效果。IGNet 在 ScribbleKITTI 上取得了弱监督 LiDAR 语义分割的最优结果，仅使用 8% 的标注点便达到全监督训练高达 98% 的相对性能，同时在推理时未引入额外的标注负担或计算/内存成本。此外，我们表明我们的贡献对半监督训练同样有效，IGNet 在 ScribbleKITTI 和 SemanticKITTI 上均取得了最优结果。
引用
@article{arxiv.2311.15605,
title = {2D Feature Distillation for Weakly- and Semi-Supervised 3D Semantic Segmentation},
author = {Ozan Unal and Dengxin Dai and Lukas Hoyer and Yigit Baran Can and Luc Van Gool},
journal= {arXiv preprint arXiv:2311.15605},
year = {2023}
}
备注
Accepted at WACV 2024