双学生：打破半监督学习中教师的局限
机器学习
2019-09-05 v1 计算机视觉与模式识别
机器学习
摘要
近来，基于一致性的方法在半监督学习（SSL）中取得了最先进的结果。这些方法总涉及两个角色，一个显式或隐式的教师模型与一个学生模型，并通过一致性约束对不同扰动下的预测进行惩罚。然而，由于教师本质上是学生的指数移动平均（EMA），这两个角色的权重紧密耦合。在本工作中，我们展示了耦合的 EMA 教师导致了性能瓶颈。为解决这个问题，我们引入了 Dual Student，用另一个学生替代教师。我们还定义了一个新概念，稳定样本，并据此为我们的结构设计了一个稳定化约束以使其可训练。进一步，我们讨论了方法的两种变体，其产生了更高的性能。大量实验表明，我们的方法在几个主要 SSL 基准上显著提升了分类性能。具体而言，在 CIFAR-10 带 1k 标签上将 13 层 CNN 的错误率从 16.84% 降至 12.39%，在 CIFAR-100 带 10k 标签上从 34.10% 降至 31.56%。此外，我们的方法在域适应中也取得了明显改进。
引用
@article{arxiv.1909.01804,
title = {Dual Student: Breaking the Limits of the Teacher in Semi-supervised Learning},
author = {Zhanghan Ke and Daoye Wang and Qiong Yan and Jimmy Ren and Rynson W. H. Lau},
journal= {arXiv preprint arXiv:1909.01804},
year = {2019}
}
备注
International Conference in Computer Vision 2019 (ICCV 2019)