基于虚拟对抗训练的分布平滑
机器学习
2016-06-14 v9 机器学习
摘要
我们提出了局部分布平滑（LDS），这是一种用于统计模型平滑性的新概念，可作为正则化项以促进模型分布的平滑性。我们将基于 LDS 的正则化命名为虚拟对抗训练（VAT）。模型在输入数据点处的 LDS 被定义为基于 KL 散度的、模型分布对该数据点周围局部扰动的鲁棒性。VAT 类似于对抗训练，但其区别在于它仅从模型分布本身确定对抗方向，而不使用标签信息，这使其适用于半监督学习。VAT 的计算成本相对较低。对于神经网络，LDS 的近似梯度计算不超过三次正向和反向传播。当我们将该技术应用于 MNIST 数据集的监督和半监督学习时，其表现优于除当前最先进方法（基于高度先进的生成模型）以外的所有训练方法。我们还将该方法应用于 SVHN 和 NORB，并证实了我们的方法在应用于这些数据集时优于当前最先进的半监督方法。
引用
@article{arxiv.1507.00677,
title = {Distributional Smoothing with Virtual Adversarial Training},
author = {Takeru Miyato and Shin-ichi Maeda and Masanori Koyama and Ken Nakae and Shin Ishii},
journal= {arXiv preprint arXiv:1507.00677},
year = {2016}
}
备注
Under review as a conference paper at ICLR 2016