基于可微空间扭曲的对抗式双学生半监督语义分割
计算机视觉与模式识别
2022-09-28 v3
摘要
鲁棒语义分割面临的一个常见挑战是昂贵的数据标注成本。现有的半监督方案在解决该问题上展现出巨大潜力。其关键思想是利用无标签数据的无监督数据增强来构建一致性正则化以进行模型训练。对无标签数据的扰动启用了一致性训练损失，这有益于半监督语义分割。然而，这些扰动破坏了图像上下文并引入了不自然的边界，这对语义分割是有害的。此外，被广泛采用的半监督学习框架即均值教师（mean-teacher）存在性能局限，因为学生模型最终会收敛到教师模型。在本文中，首先，我们提出一种上下文友好的可微几何扭曲来进行无监督数据增强；其次，提出一种新颖的对抗式双学生框架，从以下两方面改进均值教师：（1）除鼓励利用模型多样性的稳定化约束外，两个学生模型独立学习；（2）对抗训练方案应用于两个学生，并借助判别器来区分无标签数据的可靠伪标签以用于自训练。通过在 PASCAL VOC2012 和 Cityscapes 上的大量实验验证了有效性。我们的方案显著提升了性能，并在两个数据集上取得了最先进的（state-of-the-art）结果。值得注意的是，与全监督相比，我们的方案在 PASCAL VOC2012 上仅使用 12.5% 的标注数据便取得了 73.4% 的可比 mIoU。我们的代码和模型可在 https://github.com/cao-cong/ADS-SemiSeg 获取。
引用
@article{arxiv.2203.02792,
title = {Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation},
author = {Cong Cao and Tianwei Lin and Dongliang He and Fu Li and Huanjing Yue and Jingyu Yang and Errui Ding},
journal= {arXiv preprint arXiv:2203.02792},
year = {2022}
}
备注
Accepted by IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)