剪枝与否：探索模型压缩中剪枝的有效性
机器学习
2017-11-15 v2 机器学习
摘要
模型剪枝旨在深度神经网络的各类连接矩阵中引入稀疏性，从而减少模型中非零值参数的数量。近期报告（Han et al., 2015; Narang et al., 2017）以仅微小的精度损失为代价对深度网络进行剪枝，并实现了模型尺寸的显著缩减。这暗示这些实验中的基线模型可能从一开始就严重过度参数化，而模型压缩的一个可行替代方案可能是简单地减少隐藏单元的数量，同时保持模型的稠密连接结构，从而在模型尺寸和精度之间展现出类似的权衡。我们在资源受限环境中进行能效推理的背景下，研究了这两种不同的模型压缩路径，并提出了一种新的渐进式剪枝技术，该技术简单直接，可应用于多种模型/数据集且只需极少的调参，并能无缝集成到训练过程中。我们比较了具有相同内存占用的大但已剪枝模型（大-稀疏）与其更小但稠密（小-稠密）对应模型的精度。在广泛的神经网络架构（深度CNN、堆叠LSTM和seq2seq LSTM模型）中，我们发现大-稀疏模型始终优于小-稠密模型，并在精度损失极小的情况下实现了非零参数数量高达10倍的减少。
引用
@article{arxiv.1710.01878,
title = {To prune, or not to prune: exploring the efficacy of pruning for model compression},
author = {Michael Zhu and Suyog Gupta},
journal= {arXiv preprint arXiv:1710.01878},
year = {2017}
}