利用形状线索的弱监督语义分割方法
计算机视觉与模式识别
2022-08-09 v1 人工智能
摘要
弱监督语义分割（WSSS）旨在仅使用图像级标签进行训练来产生像素级的类别预测。为此，以往方法采用常见流程：从类激活图（CAMs）生成伪掩码，并用这些掩码监督分割网络。然而，由于 CAMs 的局部性（即倾向于仅关注小的判别性物体部分），难以推导出覆盖物体完整范围的全面伪掩码。在本文中，我们将 CAMs 的局部性与卷积神经网络（CNNs）的纹理偏置特性相关联。相应地，我们提出利用形状信息来补充纹理偏置的 CNN 特征，从而促使掩码预测不仅全面而且与物体边界良好对齐。我们进一步以在线方式用一种考虑类别与颜色亲和力的新颖细化方法来精炼预测，以生成可靠的伪掩码监督模型。重要的是，我们的模型在单阶段框架内端到端训练，因此在训练成本上高效。通过在 PASCAL VOC 2012 上的大量实验，我们验证了该方法在生成精确且形状对齐的分割结果上的有效性。具体而言，我们的模型大幅超越现有的最优单阶段方法。而且，当以简单的两阶段流程（无任何额外技巧）采用时，它也在多阶段方法上取得了新的最优性能。
引用
@article{arxiv.2208.04286,
title = {Exploiting Shape Cues for Weakly Supervised Semantic Segmentation},
author = {Sungpil Kho and Pilhyeon Lee and Wonyoung Lee and Minsong Ki and Hyeran Byun},
journal= {arXiv preprint arXiv:2208.04286},
year = {2022}
}
备注
Accepted by Pattern Recognition. The first two authors contributed equally