深度神经网络的无数据参数剪枝
计算机视觉与模式识别
2015-07-23 v1
摘要
具有数百万参数的深度神经网络是当今许多最先进计算机视觉系统的核心。然而，近期研究表明更小的模型可以达到类似的性能水平。在这项工作中，我们解决训练好的神经网络模型的参数剪枝问题。与先前工作逐个移除权重不同，我们逐个移除神经元。我们展示了相似神经元如何冗余，并提出了一种系统性的移除方法。我们在剪枝密集连接层的实验表明，可以从 MNIST 训练的网络中移除多达 85% 的总参数，对于 AlexNet 则约为 35%，且不会显著影响性能。我们的方法可以应用于大多数具有全连接层的网络，从而得到更小的网络。
引用
@article{arxiv.1507.06149,
title = {Data-free parameter pruning for Deep Neural Networks},
author = {Suraj Srinivas and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:1507.06149},
year = {2015}
}
备注
BMVC 2015