Snowball：面向极小标记数据集半监督学习的迭代模型演化与置信样本发现
计算机视觉与模式识别
2019-09-05 v1 机器学习
摘要
在这项工作中，我们针对极小标记训练集上的半监督学习，开发了一种联合样本发现与迭代模型演化方法。我们提出了一种主-教师-学生模型框架，在多轮次和多代的模型演化过程中提供多层引导。教师模型通过对过去训练步骤中获得的学生模型执行指数移动平均来构建。主网络结合学生模型和教师模型的知识，并额外访问新发现的样本。然后，主模型和教师模型通过强制其对无标签样本预测的一致性来引导学生网络的训练，并在发现越来越多样本时演化所有模型。我们的大量实验表明，从无标签数据集中发现置信样本，一旦与上述主-教师-学生网络演化相结合，可显著提升整体半监督学习性能。例如，在 CIFAR-10 数据集上，仅使用 250 个标记样本这一极小的集合，我们的方法实现了 11.81% 的错误率，比最先进的方法 Mean-Teacher（49.91%）低了 38% 以上。
引用
@article{arxiv.1909.01542,
title = {Snowball: Iterative Model Evolution and Confident Sample Discovery for Semi-Supervised Learning on Very Small Labeled Datasets},
author = {Yang Li and Jianhe Yuan and Zhiqun Zhao and Hao Sun and Zhihai He},
journal= {arXiv preprint arXiv:1909.01542},
year = {2019}
}