具有改进对抗鲁棒性的稀疏深度神经网络
机器学习
2019-11-07 v2 密码学与安全
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
深度神经网络（DNNs）在计算/内存上开销大，且易受对抗攻击，这使其在某些现实应用中难以使用。通过将稠密模型转换为稀疏模型，剪枝似乎是一种降低计算/内存成本的有前景的方案。本文研究分类模型，尤其是基于 DNN 的分类模型，以表明其稀疏性与对抗鲁棒性之间存在内在关系。我们的分析从理论和经验上揭示，基于非线性 DNN 的分类器在 攻击下的表现不同于某些线性分类器。我们进一步证明，适当更高的模型稀疏性意味着非线性 DNN 更好的鲁棒性，而过度稀疏化的模型可能更难以抵御对抗样本。
引用
@article{arxiv.1810.09619,
title = {Sparse DNNs with Improved Adversarial Robustness},
author = {Yiwen Guo and Chao Zhang and Changshui Zhang and Yurong Chen},
journal= {arXiv preprint arXiv:1810.09619},
year = {2019}
}
备注
l1 regularization on weights --> l1 regularization on activations