Parseval网络：提升对对抗样本的鲁棒性
机器学习
2017-08-08 v2 人工智能
密码学与安全
机器学习
摘要
我们提出Parseval网络，一种深度神经网络，其中线性、卷积和聚合层的Lipschitz常数被约束为小于1。Parseval网络的经验与理论动机来源于对深度神经网络在输入受到对抗扰动时预测鲁棒性的分析。Parseval网络最重要的特征是保持线性和卷积层的权重矩阵为（近似）Parseval紧框架，这是正交矩阵到非方阵的推广。我们描述了在SGD过程中如何高效维持这些约束。我们表明Parseval网络在CIFAR-10/100和街景门牌号(SVHN)上的准确率与最先进水平相当，同时相比其原始对照模型对对抗样本更具鲁棒性。顺便指出，Parseval网络也往往训练更快，并更好地利用了网络的全部容量。
引用
@article{arxiv.1704.08847,
title = {Parseval Networks: Improving Robustness to Adversarial Examples},
author = {Moustapha Cisse and Piotr Bojanowski and Edouard Grave and Yann Dauphin and Nicolas Usunier},
journal= {arXiv preprint arXiv:1704.08847},
year = {2017}
}
备注
submitted