用于半监督学习的虚拟对抗梯形网络
机器学习
2017-12-13 v2 计算机视觉与模式识别
机器学习
摘要
半监督学习（SSL）通过用来自同一分布的大量相对廉价的无标签数据集扩充小型有标签数据集，部分规避了数据标注的高成本。本文对两种基于深度学习的SSL方法——梯形网络（ladder networks）和虚拟对抗训练（VAT）——提出了一种新颖解释，即对其各自的潜在空间施加分布平滑。我们提出了一类融合这些方法的模型。在MNIST数据集上每类仅用5个标签，我们便以高一致性达到了接近有监督的精度：我们最佳的模型，带逐层虚拟对抗噪声的梯形网络（LVAN-LW），在MNIST测试集上取得了1.42% ± 0.12的平均错误率，相比之下梯形网络报道为1.62% ± 0.65。在采用L2归一化快速梯度法生成的对抗样本上，每类用5个样本训练的LVAN-LW取得了2.4% ± 0.3的平均错误率，而梯形网络为68.6% ± 6.5，VAT为9.9% ± 7.5。
引用
@article{arxiv.1711.07476,
title = {Virtual Adversarial Ladder Networks For Semi-supervised Learning},
author = {Saki Shinoda and Daniel E. Worrall and Gabriel J. Brostow},
journal= {arXiv preprint arXiv:1711.07476},
year = {2017}
}
备注
Camera-ready version for NIPS 2017 workshop Learning with Limited Labeled Data