对抗鲁棒性与模型压缩能否兼得？
计算机视觉与模式识别
2021-06-23 v5 密码学与安全
机器学习
摘要
众所周知，深度神经网络（DNN）易受对抗攻击，后者通过向良性样本添加精心构造的扰动来实现。基于极大极小鲁棒优化的对抗训练可以提供针对对抗攻击的一种安全性保证。然而，对抗鲁棒性所需的网络容量显著大于仅使用良性样本的自然训练。本文提出一种对抗训练与权重剪枝并行的框架，在实现模型压缩的同时仍保持对抗鲁棒性，并从根本上解决了对抗训练的困境。此外，本工作研究了常规设定下关于权重剪枝的两个假设，发现权重剪枝对于在对抗设定下减小网络模型规模至关重要，即便从大模型继承初始化从头训练小模型，也无法同时获得对抗鲁棒性和高标准准确率。代码见 https://github.com/yeshaokai/Robustness-Aware-Pruning-ADMM。
引用
@article{arxiv.1903.12561,
title = {Adversarial Robustness vs Model Compression, or Both?},
author = {Shaokai Ye and Kaidi Xu and Sijia Liu and Jan-Henrik Lambrechts and Huan Zhang and Aojun Zhou and Kaisheng Ma and Yanzhi Wang and Xue Lin},
journal= {arXiv preprint arXiv:1903.12561},
year = {2021}
}
备注
Accepted by ICCV 2019