深度神经网络的方向性剪枝
机器学习
2020-10-15 v2 机器学习
摘要
鉴于随机梯度下降（SGD）常在训练损失中找到一个平坦的最小值谷，我们提出了一种新颖的方向性剪枝方法，该方法在该平坦区域内或附近搜索稀疏极小化器。所提出的剪枝方法不需要重训练或关于稀疏度水平的专家知识。为克服估计平坦方向在计算上的艰巨性，我们提出使用一种精心调谐的近端梯度算法，该算法在充分训练后以较小学习率可证明地实现方向性剪枝。实证结果表明，在ResNet50配合ImageNet的诸多现有剪枝方法中，我们的方案在高度稀疏 regime（92%稀疏度）下取得了有前景的结果，且仅比SGD稍高的运行时间与内存占用。使用VGG16以及宽ResNet 28x10在CIFAR-10和CIFAR-100上，我们证明我们的方案到达与SGD相同的最小值谷，且我们的方案与SGD找到的极小化器在影响训练损失的方向上未出现偏离。复现本文结果的代码可在 https://github.com/donlan2710/gRDA-Optimizer/tree/master/directional_pruning 获取。
引用
@article{arxiv.2006.09358,
title = {Directional Pruning of Deep Neural Networks},
author = {Shih-Kang Chao and Zhanyu Wang and Yue Xing and Guang Cheng},
journal= {arXiv preprint arXiv:2006.09358},
year = {2020}
}
备注
Camera-ready version for the NeurIPS 2020. 29 pages