教师图上平滑邻域的半监督学习方法
机器学习
2018-03-29 v2 神经与进化计算
机器学习
摘要
近期提出的自集成方法在深度半监督学习中取得了有前景的结果，其通过对不同扰动下未标注数据的不一致预测进行惩罚来起作用。然而，它们仅考虑对单个数据点添加扰动，而忽略了数据样本间的联系。本文提出一种称为教师图上平滑邻域 (SNTG) 的新方法。在 SNTG 中，基于教师模型（即模型的隐式自集成）的预测构建图。随后该图作为相似性度量，据此学习使“相似”邻域点在低维流形上的表示平滑。我们在半监督学习基准上取得了 SOTA 结果。在 CIFAR-10 带 4000 个标签、SVHN 带 500 个标签时，错误率分别为 9.89%、3.99%。尤其在标签更少时改进显著。对于仅含 20 个标签的未增强 MNIST，错误率从之前的 4.81% 降至 1.36%。我们的方法对噪声标签也表现出鲁棒性。
引用
@article{arxiv.1711.00258,
title = {Smooth Neighbors on Teacher Graphs for Semi-supervised Learning},
author = {Yucen Luo and Jun Zhu and Mengxi Li and Yong Ren and Bo Zhang},
journal= {arXiv preprint arXiv:1711.00258},
year = {2018}
}
备注
Accept as Spotlight in Computer Vision and Pattern Recognition 2018