基于自适应均衡学习的半监督语义分割
计算机视觉与模式识别
2021-10-12 v1
摘要
由于数据有限甚至不平衡，半监督语义分割在某些特定类别上往往表现不佳，例如 Cityscapes 数据集中呈现长尾标签分布的尾部类别。现有方法几乎都忽视此问题，并对各类别平等对待。一些流行方法如一致性正则化或伪标签甚至可能损害表现不佳类别的学习，因为这些类别的预测或伪标签可能过于不准确而无法指导未标注数据的学习。本文审视该问题，并提出一种用于半监督语义分割的新框架，称为自适应均衡学习（AEL）。AEL 借助置信度库在训练期间动态追踪类别级表现，从而自适应地平衡表现良好与糟糕类别的训练。该置信度库被用作指示器，将训练倾斜至表现不佳的类别，具体体现为三种策略：1）自适应 Copy-Paste 与 CutMix 数据增强方法，使表现不佳类别有更高概率被复制或裁剪；2）自适应数据采样方法，以鼓励从表现不佳类别中采样像素；3）一种简单而有效的重加权方法，以缓解伪标签引发的训练噪声。实验上，在各种数据划分协议下，AEL 在 Cityscapes 与 Pascal VOC 基准上大幅优于最先进方法。代码见 https://github.com/hzhupku/SemiSeg-AEL
引用
@article{arxiv.2110.05474,
title = {Semi-Supervised Semantic Segmentation via Adaptive Equalization Learning},
author = {Hanzhe Hu and Fangyun Wei and Han Hu and Qiwei Ye and Jinshi Cui and Liwei Wang},
journal= {arXiv preprint arXiv:2110.05474},
year = {2021}
}
备注
Accepted by NeurIPS 2021 (spotlight). Code is available at https://github.com/hzhupku/SemiSeg-AEL