兼具对抗鲁棒性的模型压缩：统一优化框架
机器学习
2020-01-01 v3 机器学习
摘要
深度模型压缩已被广泛研究，目前最先进的方法现在能够在最小化精度损失的同时实现高压缩比。本文从不同的视角研究模型压缩：除了保持精度外，我们能否在不损害模型对抗攻击鲁棒性的情况下对其进行压缩？先前的文献表明，鲁棒性和紧凑性的目标有时可能会相互矛盾。我们提出了一种新颖的对抗训练模型压缩（ATMC）框架。ATMC 构建了一个统一的约束优化公式，其中现有的压缩手段（剪枝、分解、量化）均被整合到约束条件中。随后开发了一种高效的算法。我们展示了大量实验，证明在各种设置下，与当前可用的替代方案相比，ATMC 在模型大小、精度和鲁棒性之间获得了显著更优的权衡。代码公开于：https://github.com/shupenggui/ATMC。
引用
@article{arxiv.1902.03538,
title = {Model Compression with Adversarial Robustness: A Unified Optimization Framework},
author = {Shupeng Gui and Haotao Wang and Chen Yu and Haichuan Yang and Zhangyang Wang and Ji Liu},
journal= {arXiv preprint arXiv:1902.03538},
year = {2020}
}
备注
14 pages, NeurIPS 2019. The first two authors Gui and Wang contributed equally and are listed alphabetically