FeTa：一种具有泛化误差保证的 DCA 剪枝算法
机器学习
2018-03-13 v1 神经与进化计算
机器学习
摘要
近期的 DNN 剪枝算法已成功减少全连接层中的参数数量，且分类精度往往很少或没有下降。然而，大多数现有剪枝方案要么必须在训练期间应用，要么需要在剪枝后进行代价高昂的重新训练以恢复分类精度。我们首先提出一种基于凸差（DC）优化的廉价全连接 DNN 层剪枝算法，其几乎不需要或完全不需要重新训练。随后，我们针对隐藏层有界扰动（权重剪枝为其特例）的情况，对 DNN 泛化误差（GE）的增长提供理论分析。我们的剪枝方法比竞争方法快几个数量级，而我们的理论分析阐明了先前在 DNN 剪枝中观察到的问题。在常见前馈神经网络上的实验验证了我们的结果。
引用
@article{arxiv.1803.04239,
title = {FeTa: A DCA Pruning Algorithm with Generalization Error Guarantees},
author = {Konstantinos Pitas and Mike Davies and Pierre Vandergheynst},
journal= {arXiv preprint arXiv:1803.04239},
year = {2018}
}