深度神经网络的快速凸剪枝
机器学习
2019-02-27 v2 机器学习
摘要
我们开发了一种称为 Net-Trim 的快速、易处理技术，用于简化训练好的神经网络。该方法是一个凸后处理模块，逐层剪枝（稀疏化）训练好的网络，同时保留内部响应。我们从算法和样本复杂度的角度对 Net-Trim 进行了全面分析，核心是一个快速、可扩展的凸优化程序。我们的分析包括 Net-Trim 应用前后初始模型与重训练模型之间的一致性结果，以及发现可用一定数量非零项表示的网络所需训练样本数的保证。具体而言，如果有一组权重最多使用 项即可从层输入重建层输出，我们可从 个样本中找到这些权重，其中 为输入大小。这些理论结果类似于使用 Lasso 的稀疏回归结果，我们的分析使用了一些相同的最近开发工具（即近期关于测度集中和凸分析的结果）。最后，我们提出了一种基于交替方向乘子法 (ADMM) 的算法框架，允许快速简单地实现 Net-Trim 以进行网络剪枝和压缩。
引用
@article{arxiv.1806.06457,
title = {Fast Convex Pruning of Deep Neural Networks},
author = {Alireza Aghasi and Afshin Abdi and Justin Romberg},
journal= {arXiv preprint arXiv:1806.06457},
year = {2019}
}