面向鲁棒稀疏网络的自适应锐度感知剪枝
机器学习
2024-03-14 v2 计算机视觉与模式识别
摘要
鲁棒性与紧凑性是部署于真实世界的深度学习模型的两个基本属性。鲁棒性与紧凑性的目标看似矛盾，因为鲁棒性要求跨域泛化，而压缩过程利用单一域中的特异性。我们提出自适应锐度感知剪枝（AdaSAP），通过网络锐度的视角统一了这些目标。AdaSAP方法生成的稀疏网络对训练时未见的输入变化具有鲁棒性。我们通过策略性地引入权重扰动以优化损失地形来实现这一点。这使得模型既为剪枝做好准备，又通过正则化提升鲁棒性。AdaSAP在ImageNet C上提升剪枝模型的鲁棒准确率至多+6%，在ImageNet V2上+4%，在受损Pascal VOC数据集上的目标检测任务上+4%，覆盖广泛的压缩比、剪枝准则与网络架构，大幅优于近期剪枝方法。
引用
@article{arxiv.2306.14306,
title = {Adaptive Sharpness-Aware Pruning for Robust Sparse Networks},
author = {Anna Bair and Hongxu Yin and Maying Shen and Pavlo Molchanov and Jose Alvarez},
journal= {arXiv preprint arXiv:2306.14306},
year = {2024}
}