训练前的单次结构化剪枝
机器学习
2020-07-02 v1 机器学习
摘要
我们引入一种方法，通过在训练前应用结构化剪枝，使深度神经网络的训练加速 2 倍、推理加速 3 倍。与以往训练前剪枝单个权重的工作不同，我们的工作提出了一种移除整个通道和隐藏单元的方法论，其明确目标是加速训练和推理。我们引入了一种计算感知的评分机制，能够以每移除一个 FLOP 的灵敏度为单位进行剪枝，从而实现更大的加速。我们的方法快速、易于实现，且仅需在单批数据上进行一次前向/反向传播即可在训练开始前完成剪枝。
引用
@article{arxiv.2007.00389,
title = {Single Shot Structured Pruning Before Training},
author = {Joost van Amersfoort and Milad Alizadeh and Sebastian Farquhar and Nicholas Lane and Yarin Gal},
journal= {arXiv preprint arXiv:2007.00389},
year = {2020}
}