具有全局稀疏约束的神经网络有效稀疏化方法
机器学习
2021-05-05 v1
摘要
权重剪枝是一种在真实部署中减小深度神经网络模型规模和推理时间的有效技术。然而，由于神经网络不同层的权重幅值及相对重要性差异很大，现有方法依赖手动调参或手工启发式规则来为每一层单独寻找合适的剪枝率，这种做法通常导致次优性能。本文通过直接在概率空间上工作，提出了一种称为概率掩码（probabilistic masking，ProbMask）的有效网络稀疏化方法，其在全局稀疏约束下求解一个自然的稀疏化形式。核心思想是使用概率作为所有层的全局准则来衡量权重重要性。ProbMask 的一个吸引人特性是，权重冗余量可通过我们的约束自动学习，从而避免了为网络中不同层单独调参剪枝率的问题。在 CIFAR-10/100 和 ImageNet 上的大量实验结果表明，我们的方法非常有效，且能大幅优于先前最先进（state-of-the-art）的方法，尤其是在高剪枝率情形下。值得注意的是，我们的 ProbMask 与现有方法的 Top-1 准确率差距可达 10%。作为副产品，我们展示了 ProbMask 在识别超级掩码（supermasks，即随机加权稠密神经网络中高性能的子网络）方面也同样高度有效。
引用
@article{arxiv.2105.01571,
title = {Effective Sparsification of Neural Networks with Global Sparsity Constraint},
author = {Xiao Zhou and Weizhong Zhang and Hang Xu and Tong Zhang},
journal= {arXiv preprint arXiv:2105.01571},
year = {2021}
}