重新审视用于DNN剪枝的硬阈值法
机器学习
2019-05-23 v1 人工智能
机器学习
摘要
DNN剪枝最常见的方法是对网络权重进行硬阈值处理，随后进行重训练以恢复任何损失的精度。近期开发的智能剪枝算法利用DNN在训练集上的响应，针对多种代价函数来确定冗余网络权重，从而减少精度下降并可能缩短重训练时间。在总剪枝时间（剪枝时间+重训练时间）的实验中，我们表明硬阈值处理加重训练仍是减少网络参数数量最高效的方式。然而，在无法进行重训练时，智能剪枝算法仍具优势。在此背景下，我们提出一种基于凸函数差优化的新型智能剪枝算法，并表明其常比竞争方法快数个数量级，同时实现最低的分类精度下降。此外，我们从理论上研究了硬阈值处理对DNN精度的影响。我们表明，精度下降随剪枝层之后剩余网络深度而增加。我们还发现了训练数据流形的潜在维度与网络对硬阈值处理的鲁棒性之间的关联。
引用
@article{arxiv.1905.08793,
title = {Revisiting hard thresholding for DNN pruning},
author = {Konstantinos Pitas and Mike Davies and Pierre Vandergheynst},
journal= {arXiv preprint arXiv:1905.08793},
year = {2019}
}
备注
arXiv admin note: substantial text overlap with arXiv:1803.04239