一手好牌：压缩深度网络反而可提升分布外鲁棒性
机器学习
2021-11-09 v2
摘要
深度学习(DL)在真实场景中的成功应用要求模型具备：(1)紧凑、(2)准确、(3)对分布偏移具有鲁棒性。遗憾的是，同时满足这些要求的努力大多未获成功。这引出了一个关键问题：无法构建紧凑、准确且鲁棒的深度神经网络(CARDs)是否源于根本性限制？为回答该问题，我们对流行的模型压缩技术进行了大规模分析，揭示了若干有趣规律。值得注意的是，与传统剪枝方法(如微调和渐进幅度剪枝)不同，我们发现“彩票票式”方法出人意料地可用于生成CARDs，包括二值权重的CARDs。具体而言，我们仅需通过剪枝并(可选地)量化，即可创建极紧凑的CARDs，其与更大的对应模型相比具有相近的测试精度以及匹配(或更优)的鲁棒性。利用CARDs的紧凑性，我们提出了一种简单的域自适应测试时集成方法(CARD-Decks)，其使用门控模块根据测试样本与CARDs的谱相似性动态选择合适的CARDs。所提方法构建了一手CARDs“好牌”，在CIFAR-10-C精度(即96.8%标准与92.75%鲁棒)和CIFAR-100-C精度(80.6%标准与71.3%鲁棒)上建立了RobustBench上的新SOTA，且内存占用优于未压缩基线(预训练CARDs与CARD-Decks见 https://github.com/RobustBench/robustbench)。最后，我们为上述经验发现提供了理论支撑。
引用
@article{arxiv.2106.09129,
title = {A Winning Hand: Compressing Deep Networks Can Improve Out-Of-Distribution Robustness},
author = {James Diffenderfer and Brian R. Bartoldson and Shreya Chaganti and Jize Zhang and Bhavya Kailkhura},
journal= {arXiv preprint arXiv:2106.09129},
year = {2021}
}