增强人工神经网络中权重剪枝的正则化效应
机器学习
2018-05-08 v1 机器学习
摘要
当人工神经网络（ANNs）用于手机或嵌入式设备时，其计算/内存成本可能得不偿失。参数剪枝算法应对这些成本，其中一些算法能够移除超过 90% 的 ANN 权重而不损害 ANN 的性能。从 ANN 中移除权重是一种正则化形式，但现有剪枝算法并未显著改善泛化误差。我们表明，如果剪枝以大模型权重而非小权重为目标，则剪枝 ANN 可改善泛化。将我们的剪枝算法应用于 ANN，在 CIFAR-10 数据上获得的图像分类准确率高于应用流行的正则化器 dropout。该剪枝在获得更高准确率的同时将 ANN 的参数数量减少了 85%。
引用
@article{arxiv.1805.01930,
title = {Enhancing the Regularization Effect of Weight Pruning in Artificial Neural Networks},
author = {Brian Bartoldson and Adrian Barbu and Gordon Erlebacher},
journal= {arXiv preprint arXiv:1805.01930},
year = {2018}
}