无需对抗样本剪枝对抗鲁棒神经网络
机器学习
2022-10-11 v1 人工智能
密码学与安全
计算机视觉与模式识别
摘要
对抗剪枝在压缩模型的同时保持鲁棒性。现有方法在剪枝过程中需要访问对抗样本，这严重影响了训练效率。此外，随着新对抗攻击与训练方法的快速发展，对抗剪枝方法需相应修改以跟上步伐。本文提出一种新框架，可在保持对抗鲁棒性的同时剪枝已训练好的鲁棒神经网络，且无需进一步生成对抗样本。我们利用并发自蒸馏与剪枝来保留原模型中的知识，并通过 Hilbert-Schmidt 信息瓶颈对剪枝后模型进行正则化。我们全面评估了所提框架，并在对 MNIST、CIFAR-10 和 CIFAR-100 数据集上训练的架构针对五种最先进攻击进行剪枝时，展示了其在对抗鲁棒性与效率方面的优越性能。代码见 https://github.com/neu-spiral/PwoA/。
引用
@article{arxiv.2210.04311,
title = {Pruning Adversarially Robust Neural Networks without Adversarial Examples},
author = {Tong Jian and Zifeng Wang and Yanzhi Wang and Jennifer Dy and Stratis Ioannidis},
journal= {arXiv preprint arXiv:2210.04311},
year = {2022}
}
备注
Published at ICDM 2022 as a conference paper