使用对抗样本的流形正则化深度神经网络
机器学习
2016-01-15 v2 计算机视觉与模式识别
摘要
使用深度神经网络学习有意义的表示涉及设计高效的训练方案和结构良好的网络。目前，带动量的随机梯度下降结合 dropout 是最流行的训练协议之一。在此基础上，近年来提出了更先进的方法（即 Maxout 和 Batch Normalization），但大多数方法仍然存在由微小扰动（也称为对抗样本）引起的性能下降问题。为了解决这个问题，我们提出了流形正则化网络 (MRnet)，它利用一种新颖的训练目标函数，最小化样本与其对抗样本的多层嵌入结果之间的差异。我们的实验结果表明，MRnet 对对抗样本具有更强的弹性，并帮助我们在流形上泛化表示。此外，结合 MRnet 和 dropout 使我们在三个著名的基准测试：MNIST、CIFAR-10 和 SVHN 上取得了具有竞争力的分类性能。
引用
@article{arxiv.1511.06381,
title = {Manifold Regularized Deep Neural Networks using Adversarial Examples},
author = {Taehoon Lee and Minsuk Choi and Sungroh Yoon},
journal= {arXiv preprint arXiv:1511.06381},
year = {2016}
}
备注
Figure 2, 5, 7, and several descriptions revised