面向半监督学习的去偏自训练方法
机器学习
2022-11-10 v5 计算机视觉与模式识别
摘要
深度神经网络借助大规模标注数据集在广泛任务上取得卓越性能。然而，在现实任务中获取这些数据集耗时且费力。为缓解对标注数据的需求，自训练通过迭代地为无标签样本分配伪标签被广泛应用于半监督学习。尽管流行，自训练被广泛认为不可靠且常导致训练不稳定。我们的实验研究进一步揭示，半监督学习中的偏差源于问题本身以及对潜在不正确伪标签的不当训练，这在迭代自训练过程中累积了误差。为减小上述偏差，我们提出去偏自训练（DST）。首先，伪标签的生成与利用由两个参数无关的分类器头解耦，以避免直接误差累积。其次，我们估计自训练偏差的最坏情况，其中伪标注函数在有标签样本上准确，却在无标签样本上尽可能多地出错。随后我们对抗式优化表示，通过规避最坏情况来提升伪标签质量。大量实验证明，DST 在标准半监督学习基准数据集上相较最先进方法平均提升 6.3%，在 13 项多样任务上相较 FixMatch 提升 18.9%。此外，DST 可无缝适配其他自训练方法，并在从头训练与基于预训练模型微调两种情况下帮助稳定其训练并平衡各类别性能。
引用
@article{arxiv.2202.07136,
title = {Debiased Self-Training for Semi-Supervised Learning},
author = {Baixu Chen and Junguang Jiang and Ximei Wang and Pengfei Wan and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2202.07136},
year = {2022}
}
备注
NIPS 2022 Oral