神经网络剪枝是否需要复杂性？基于全局幅值剪枝的实证研究
机器学习
2024-01-09 v3 计算机视觉与模式识别
摘要
在过去十年中，神经网络剪枝变得流行，因为研究表明可以从现代神经网络中安全地移除大量权重而不损害准确率。此后提出了众多剪枝方法，各自声称优于先前技术，但代价是剪枝方法日益复杂。这些方法包括利用重要性分数、通过反向传播获取反馈或基于启发式的剪枝规则等。在本工作中，我们质疑这种引入复杂性的模式是否真的必要以取得更好的剪枝结果。我们将这些 SOTA 技术与一个简单的剪枝基线，即全局幅值剪枝（Global MP）进行基准比较，后者按权重幅值大小排序并剪除最小的权重。令人惊讶的是，我们发现原始的全局幅值剪枝相对于 SOTA 技术表现非常好。在考虑稀疏度-准确率权衡时，Global MP 在所有稀疏度比例下均优于所有 SOTA 技术。在考虑 FLOPs-准确率权衡时，一些 SOTA 技术在较低稀疏度比例下优于 Global MP，然而 Global MP 在较高稀疏度比例下开始表现良好，并在极高稀疏度比例下表现非常好。此外，我们发现许多剪枝算法在高压缩率下遇到的常见问题，即层坍塌（layer-collapse），可以轻易地在 Global MP 中修复。我们探究了网络中层坍塌发生的原因，以及如何在 Global MP 中通过一种称为最小阈值（Minimum Threshold）的技术来缓解它。我们在多种模型（WRN-28-8、ResNet-32、ResNet-50、MobileNet-V1 和 FastGRNN）和多个数据集（CIFAR-10、ImageNet 和 HAR-2）上展示了上述发现。代码见 https://github.com/manasgupta-1/GlobalMP。
引用
@article{arxiv.2209.14624,
title = {Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning},
author = {Manas Gupta and Efe Camci and Vishandi Rudy Keneta and Abhishek Vaidyanathan and Ritwik Kanodia and Chuan-Sheng Foo and Wu Min and Lin Jie},
journal= {arXiv preprint arXiv:2209.14624},
year = {2024}
}