用于神经网络压缩与正则化的量化和剪枝
机器学习
2020-01-15 v1 机器学习
摘要
深度神经网络通常在计算上过于昂贵，无法在消费级硬件和低功耗设备上实时运行。在本文中，我们通过网络剪枝和量化来研究降低神经网络的计算和内存需求。我们考察了它们在 AlexNet 等大型网络与近期紧凑架构 ShuffleNet 和 MobileNet 上的有效性。我们的结果表明，剪枝和量化将这些网络压缩至不到原始大小的一半，并提升了其效率，尤其在 MobileNet 上实现了 7 倍加速。我们还证明，剪枝除了减少网络中的参数数量外，还有助于纠正过拟合。
引用
@article{arxiv.2001.04850,
title = {Quantisation and Pruning for Neural Network Compression and Regularisation},
author = {Kimessha Paupamah and Steven James and Richard Klein},
journal= {arXiv preprint arXiv:2001.04850},
year = {2020}
}