快速梯度符号方法的正则化效应及其泛化
机器学习
2018-10-31 v2 机器学习
统计理论
统计理论
摘要
快速梯度符号方法(FGSM)是一种流行的生成对抗样本的方法,可使神经网络模型对扰动具有鲁棒性。尽管其经验上取得成功,其理论性质仍未被充分理解。本文发展理论以解释广义FGSM(一类生成对抗样本的方法)的正则化效应。受FGSM与LASSO惩罚之间关系的启发,我们在广义线性模型设定下推导了广义FGSM的渐近性质,这本质上是在特定激活函数下的单层神经网络设定。在此类简单神经网络模型中,我证明了广义FGSM估计在适当条件下是√n一致且弱预言的。该渐近结果也与惩罚似然估计高度相似。然而,当数据采样非符号中性(我引入该概念以描述噪声符号的均衡性)时,广义FGSM会引入额外偏差。尽管本文理论在简单神经网络设定下发展,我认为其可为深度神经网络设定下的FGSM提供见解与依据。
引用
@article{arxiv.1810.11711,
title = {Regularization Effect of Fast Gradient Sign Method and its Generalization},
author = {Chandler Zuo},
journal= {arXiv preprint arXiv:1810.11711},
year = {2018}
}
备注
15 pages