CorrMatch: 通过相关性匹配进行标签传播的半监督语义分割方法
计算机视觉与模式识别
2023-12-12 v3
摘要
本文提出了一种简单但性能良好的半监督语义分割方法, 称为 CorrMatch。先前的方法大多采用复杂的训练策略来利用无标签数据, 却忽视了相关性图在建模位置对之间关系中的作用。我们观察到相关性图不仅能轻松聚类同一类别的像素, 还包含良好的形状信息, 而先前工作忽略了这一点。受此启发, 我们旨在通过设计两种新颖的标签传播策略来提高无标签数据的使用效率。首先, 我们提出通过建模像素的成对相似性来进行像素传播, 以扩散高置信度像素并挖掘更多像素。然后, 我们执行区域传播, 利用从相关性图中提取的精确类无关掩码来增强伪标签。CorrMatch 在流行的分割基准上取得了优异性能。以 DeepLabV3+ 配合 ResNet-101 骨干网络作为分割模型, 我们在仅使用 92 张标注图像的 Pascal VOC 2012 数据集上取得了 76%+ 的 mIoU 分数。代码见 https://github.com/BBBBchan/CorrMatch。
引用
@article{arxiv.2306.04300,
title = {CorrMatch: Label Propagation via Correlation Matching for Semi-Supervised Semantic Segmentation},
author = {Boyuan Sun and Yuqi Yang and Le Zhang and Ming-Ming Cheng and Qibin Hou},
journal= {arXiv preprint arXiv:2306.04300},
year = {2023}
}