HYDRA：剪枝对抗鲁棒神经网络
计算机视觉与模式识别
2020-11-11 v3 机器学习
机器学习
摘要
在安全关键但计算资源受限的应用中，深度学习面临两个关键挑战：缺乏对抗攻击的鲁棒性，以及神经网络规模庞大（通常数百万参数）。虽然研究界已广泛独立探索使用鲁棒训练与网络剪枝来解决其中一项挑战，但仅有少数近期工作对二者联合进行了研究。然而，这些工作继承了为良性训练开发的启发式剪枝策略，当与鲁棒训练技术（包括对抗训练与可验证鲁棒训练）结合时表现不佳。为克服该挑战，我们提出使剪枝技术感知鲁棒训练目标，并让训练目标引导搜索应剪枝的连接。我们通过将剪枝目标表述为经验风险最小化问题来实现该见解，并使用 SGD 高效求解。我们证明我们的方法（称为 HYDRA）同时实现了具有最先进良性与鲁棒精度的压缩网络。我们在 CIFAR-10、SVHN 和 ImageNet 数据集上，结合四种鲁棒训练技术：迭代对抗训练、随机平滑、MixTrain 和 CROWN-IBP，展示了方法的成功。我们还证明了在非鲁棒网络中存在高度鲁棒的子网络。我们的代码与压缩网络公开于 \url{https://github.com/inspire-group/compactness-robustness}。
引用
@article{arxiv.2002.10509,
title = {HYDRA: Pruning Adversarially Robust Neural Networks},
author = {Vikash Sehwag and Shiqi Wang and Prateek Mittal and Suman Jana},
journal= {arXiv preprint arXiv:2002.10509},
year = {2020}
}
备注
NeurIPS 2020