基于像素到片段对比学习的通用弱监督分割
计算机视觉与模式识别
2021-05-12 v2
摘要
弱监督分割需要基于带有部分标注（如图像级标签、目标边界框、标注点与涂鸦）的训练样本为每一个像素分配标签。该任务具有挑战性，因为粗标注（标签、框）缺乏精确的像素定位，而稀疏标注（点、涂鸦）缺乏广泛的区域覆盖。现有方法以不同方式处理这两类弱监督：类激活图用于定位粗标签并迭代精炼分割模型，而条件随机场用于将稀疏标签传播至整幅图像。我们将弱监督分割表述为一个半监督度量学习问题，其中相同（不同）语义的像素需要被映射到相同（有区分性）的特征。我们提出了特征空间中像素与片段之间的 4 类对比关系，捕捉低级图像相似度、语义标注、共现与特征亲和性，它们充当先验；像素级特征可从带有任意部分标注的训练图像中以数据驱动的方式学习。特别地，训练图像中的未标注像素不仅参与每幅图像内的数据驱动分组，还参与图像内与跨图像的判别性特征学习。我们在 Pascal VOC 与 DensePose 上以显著增益给出了一个通用弱监督分割器。我们的代码公开于 https://github.com/twke18/SPML。
引用
@article{arxiv.2105.00957,
title = {Universal Weakly Supervised Segmentation by Pixel-to-Segment Contrastive Learning},
author = {Tsung-Wei Ke and Jyh-Jing Hwang and Stella X. Yu},
journal= {arXiv preprint arXiv:2105.00957},
year = {2021}
}
备注
In ICLR 2021. Webpage & Code: https://twke18.github.io/projects/spml.html