基于三维引导的弱监督语义分割
计算机视觉与模式识别
2020-12-02 v1
摘要
逐像素干净标注对于全监督语义分割是必要的，但获取过程费力且昂贵。本文中，我们提出一种弱监督的二维语义分割模型，通过结合稀疏边界框标注与可获取的三维信息，而后者借助先进传感器更易获得。我们手动使用边界框标注了2D-3D-Semantics（2D-3D-S）数据集的一个子集，并引入我们的2D-3D推理模块以生成准确的逐像素分割候选掩码。在三维信息引导下，我们首先生成物体的点云并计算每个点的物体性概率分数。随后将带物体性概率的点云投影回二维图像，并经过细化步骤获得分割候选，将其作为伪标签训练语义分割网络。我们的方法以递归方式工作，逐步细化上述分割候选。在2D-3D-S数据集上的大量实验结果表明，当仅在一小部分训练图像上提供边界框标注时，所提方法仍能生成准确的分割候选。与近期最先进方法的性能比较进一步说明了我们方法的有效性。
引用
@article{arxiv.2012.00242,
title = {3D Guided Weakly Supervised Semantic Segmentation},
author = {Weixuan Sun and Jing Zhang and Nick Barnes},
journal= {arXiv preprint arXiv:2012.00242},
year = {2020}
}