鲁棒稀疏正则化：同时优化神经网络鲁棒性与紧凑性
计算机视觉与模式识别
2019-05-31 v1
摘要
通过梯度下降方法训练的深度神经网络(DNN)已知易受恶意扰动的对抗样本(即对抗攻击)的影响。作为对抗对抗攻击的防御手段之一，许多近期工作讨论并报道了增加模型容量以增强DNN鲁棒性是一种有效方法。在本工作中，我们表明通过适当的权重剪枝来缩小模型规模甚至有助于提升DNN在对抗攻击下的鲁棒性。为获得同时鲁棒且紧凑的DNN模型，我们提出了一种称为鲁棒稀疏正则化(RSR)的多目标训练方法，其通过融合多种正则化技术实现，包括通道级噪声注入、lasso权重惩罚和对抗训练。我们在流行的ResNet-20、ResNet-18和VGG-16 DNN架构上进行了大量实验，以证明RSR针对流行白盒(即PGD和FGSM)与黑盒攻击的有效性。得益于RSR，在CIFAR-10数据集上，ResNet-18的85%权重连接可被剪枝，同时相较于其PGD对抗训练基线，在干净数据与扰动数据上的准确率分别提升0.68%与8.72%。
引用
@article{arxiv.1905.13074,
title = {Robust Sparse Regularization: Simultaneously Optimizing Neural Network Robustness and Compactness},
author = {Adnan Siraj Rakin and Zhezhi He and Li Yang and Yanzhi Wang and Liqiang Wang and Deliang Fan},
journal= {arXiv preprint arXiv:1905.13074},
year = {2019}
}