用于稀疏神经网络的循环剪枝
机器学习
2022-02-04 v1 计算机视觉与模式识别
摘要
当前剪枝神经网络权重的方法迭代地对模型权重应用基于幅度的剪枝，并重新训练所得模型以恢复损失的精度。在这项工作中，我们表明此类策略不允许恢复被错误剪枝的权重。为了实现权重恢复，我们提出了一种称为循环剪枝（cyclical pruning）的简单策略，它要求剪枝调度是周期性的，并允许在一个周期中被错误剪枝的权重在后续周期中恢复。在线性模型和大规模深度神经网络上的实验结果表明，循环剪枝优于现有的剪枝算法，尤其是在高稀疏度比例下。我们的方法易于调参，并且可以轻松集成到现有剪枝流程中以提升性能。
引用
@article{arxiv.2202.01290,
title = {Cyclical Pruning for Sparse Neural Networks},
author = {Suraj Srinivas and Andrey Kuzmin and Markus Nagel and Mart van Baalen and Andrii Skliar and Tijmen Blankevoort},
journal= {arXiv preprint arXiv:2202.01290},
year = {2022}
}