i-SpaSP：基于稀疏信号恢复的结构化神经网络剪枝
机器学习
2022-03-31 v2 人工智能
最优化与控制
机器学习
摘要
我们提出了一种新颖的神经网络结构化剪枝算法——迭代稀疏结构化剪枝算法，称为 i-SpaSP。受稀疏信号恢复思想的启发，i-SpaSP 通过迭代地识别网络中贡献最大的重要参数组（例如滤波器或神经元）的更大集合（这些参数组对剪枝网络与稠密网络输出之间的残差有贡献），然后基于较小的预定义剪枝率对这些组进行阈值化处理。对于具有 ReLU 激活函数的两层和多层网络架构，我们证明了由 i-SpaSP 剪枝引起的误差呈多项式衰减，且该多项式的次数随着稠密网络隐藏表示稀疏度的增大而任意变大。在我们的实验中，i-SpaSP 在多种数据集（即 MNIST、ImageNet 和 XNLI）和架构（即前馈网络、ResNet34、MobileNetV2 和 BERT）上进行了评估，结果表明其能发现高性能子网络，并将可证明基线方法的剪枝效率提升数个数量级。简而言之，i-SpaSP 易于通过自动微分实现，取得强劲的实证结果，带有理论收敛保证，且高效，因此成为少数计算高效、实用且可证明的剪枝算法之一。
引用
@article{arxiv.2112.04905,
title = {i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery},
author = {Cameron R. Wolfe and Anastasios Kyrillidis},
journal= {arXiv preprint arXiv:2112.04905},
year = {2022}
}
备注
29 pages, 4 figures, 4th Annual Conference on Learning for Dynamics and Control