虚拟对抗训练：一种用于监督与半监督学习的正则化方法
机器学习
2018-06-28 v2 机器学习
摘要
我们提出了一种基于虚拟对抗损失的新正则化方法：该损失是给定输入下条件标签分布局部平滑性的新度量。虚拟对抗损失定义为每个输入数据点周围条件标签分布对局部扰动的鲁棒性。与对抗训练不同，我们的方法在无标签信息的情况下定义对抗方向，因此适用于半监督学习。由于我们平滑模型的方向仅是“虚拟”对抗的，我们称之为虚拟对抗训练（VAT）。VAT 的计算成本相对较低。对于神经网络，虚拟对抗损失的近似梯度只需不超过两对前向和后向传播即可计算。在我们的实验中，我们将 VAT 应用于多个基准数据集上的监督与半监督学习任务。基于熵最小化原则对算法进行简单增强后，我们的 VAT 在 SVHN 和 CIFAR-10 上的半监督学习任务中达到了最先进的性能。
引用
@article{arxiv.1704.03976,
title = {Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning},
author = {Takeru Miyato and Shin-ichi Maeda and Masanori Koyama and Shin Ishii},
journal= {arXiv preprint arXiv:1704.03976},
year = {2018}
}
备注
To be appeared in IEEE Transactions on Pattern Analysis and Machine Intelligence