CWP：基于实例复杂度加权的通道级软掩码网络剪枝方法
机器学习
2022-10-12 v2
摘要
现有的可微分通道剪枝方法通常在通道后附加缩放因子或掩码，以剪除重要性较低的滤波器，并隐式假设输入样本对滤波器重要性的贡献是均匀的。具体而言，在静态网络剪枝中，实例复杂度对剪枝性能的影响尚未得到充分研究。本文提出一种简单而有效的可微分网络剪枝方法 CWP，其基于实例复杂度加权的滤波器重要性分数。我们通过给困难实例更高权重来定义每个实例的实例复杂度相关权重，并度量实例特定软掩码的加权和以建模不同输入的非均匀贡献，从而鼓励困难实例主导剪枝过程并良好保持模型性能。此外，我们引入正则化项以最大化掩码的两极化，从而可轻松找到识别待剪滤波器的合适临界点。在各种网络架构与数据集上的性能评估表明，CWP 在剪枝大型网络方面优于现有最优方法。例如，CWP 在移除 64.11% FLOPs 后使 ResNet56 在 CIFAR-10 数据集上的准确率提升 0.32%，并在 ImageNet 数据集上剪除 ResNet50 的 87.75% FLOPs，仅带来 0.93% 的 Top-1 准确率损失。
引用
@article{arxiv.2209.03534,
title = {CWP: Instance complexity weighted channel-wise soft masks for network pruning},
author = {Jiapeng Wang and Ming Ma and Zhenhua Yu},
journal= {arXiv preprint arXiv:2209.03534},
year = {2022}
}