盲对抗剪枝：平衡精度、效率与鲁棒性
机器学习
2021-09-10 v1 机器学习
摘要
随着对深度神经网络攻击与防御兴趣的增长，研究者愈发关注将其应用于内存受限设备时的鲁棒性。因此，不同于仅考虑精度与鲁棒性平衡的对抗训练，我们转向一个更有意义且关键的问题，即精度、效率与鲁棒性（AER）三者间的平衡。近期一些相关工作关注此问题，但观察结果不一，AER 间的关系仍不明晰。本文首先考察了逐步剪枝过程中不同压缩比下剪枝模型的鲁棒性，并得出结论：剪枝模型的鲁棒性随剪枝过程剧烈变化，尤其在对大强度攻击的响应上。其次，我们测试了将干净数据与对抗样本（以规定均匀预算生成）混合进逐步剪枝过程（称为对抗剪枝）的性能，发现：剪枝模型的鲁棒性对预算表现出高度敏感性。此外，为更好平衡 AER，我们提出一种称为盲对抗剪枝（BAP）的方法，将盲对抗训练思想引入逐步剪枝过程。其主要思想是利用截断尺度策略自适应估计非均匀预算以修改剪枝中使用的 AE，从而确保每个剪枝步骤中 AE 的强度动态位于合理范围内，并最终提升剪枝模型的整体 AER。基于多个基准对分类模型进行 BAP 剪枝的实验结果表明该方法的竞争力：BAP 剪枝模型的鲁棒性在不同剪枝过程中更稳定，且 BAP 展现出优于对抗剪枝的整体 AER。
引用
@article{arxiv.2004.05913,
title = {Blind Adversarial Pruning: Balance Accuracy, Efficiency and Robustness},
author = {Haidong Xie and Lixin Qian and Xueshuang Xiang and Naijin Liu},
journal= {arXiv preprint arXiv:2004.05913},
year = {2021}
}