从稀疏性视角修剪深度神经网络
机器学习
2023-08-24 v3
摘要
近年来，为使人工智能能够快速部署到受计算和内存约束的小型设备中，深度网络剪枝引起了极大关注。剪枝通常通过丢弃深度网络的冗余权重、神经元或层，同时试图保持可比的测试性能来实现。许多深度剪枝算法已被提出并取得令人印象深刻的经验成功。然而，现有方法缺乏可量化的度量来估计每次剪枝迭代中子网络的可压缩性，因此可能欠剪枝或过剪枝模型。本工作中，我们提出PQ指数（PQI）来衡量深度神经网络的潜在可压缩性，并据此开发一种稀疏性感知自适应剪枝（SAP）算法。我们大量的实验证实了如下假设：对于通用剪枝过程，当大型模型被有效正则化时PQI先下降，当其可压缩性达到似乎对应于欠拟合开始的极限时PQI上升；随后，当模型崩溃且性能显著恶化开始时，PQI再次下降。此外，我们的实验表明，所提带有适当超参数选择的自适应剪枝算法，在压缩效率和鲁棒性方面均优于如基于彩票假设的剪枝方法等迭代剪枝算法。
引用
@article{arxiv.2302.05601,
title = {Pruning Deep Neural Networks from a Sparsity Perspective},
author = {Enmao Diao and Ganghua Wang and Jiawei Zhan and Yuhong Yang and Jie Ding and Vahid Tarokh},
journal= {arXiv preprint arXiv:2302.05601},
year = {2023}
}
备注
ICLR 2023