深度网络对抗攻击的仿生防护
机器学习
2017-03-28 v1 机器学习
神经元与认知
摘要
受神经回路中非线性树突计算背后的生物物理原理启发，我们开发了一种训练深度神经网络的方案，使其对对抗攻击具有鲁棒性。我们的方案生成高度非线性的、饱和的神经网络，在 MNIST 上基于梯度的对抗样本上实现了 SOTA 性能，尽管在训练期间从未暴露于对抗选择的样本。此外，这些网络对生成对抗样本的针对性迭代方案（包括二阶方法）表现出前所未有的鲁棒性。我们进一步利用信息几何的方法，识别了这些网络如何实现其鲁棒性的原理。我们发现这些网络逐渐创建高度平坦和压缩的内部表示，这些表示对极少数输入维度敏感，同时仍能解决任务。此外，它们采用在脑中也发现的高度峰态权重分布，我们证明了这种峰态如何甚至可以保护线性分类器免受对抗攻击。
引用
@article{arxiv.1703.09202,
title = {Biologically inspired protection of deep networks from adversarial attacks},
author = {Aran Nayebi and Surya Ganguli},
journal= {arXiv preprint arXiv:1703.09202},
year = {2017}
}
备注
11 pages