面向量化神经网络的自动剪枝
计算机视觉与模式识别
2020-02-04 v1
摘要
神经网络量化和剪枝是两种常用于降低模型部署时计算复杂度和内存占用的技术。然而，大多数现有剪枝策略作用于全精度模型，无法直接应用于量化后的离散参数分布。相比之下，我们研究这两种技术的结合以实现进一步的网络压缩。具体而言，我们提出了一种有效的剪枝策略来选择冗余的低精度滤波器。此外，我们利用贝叶斯优化来高效确定每一层的剪枝比例。我们在 CIFAR-10 和 ImageNet 上以多种架构和精度进行了大量实验。特别地，对于 ImageNet 上的 ResNet-18，在使用二值化神经网络（Binarized Neural Network）量化时我们剪枝了 26.12% 的模型大小，在 2.47 MB 的模型中达到 47.32% 的 top-1 分类准确率；在使用 2-bit DoReFa-Net 的 4.36 MB 模型中达到 59.30%。
引用
@article{arxiv.2002.00523,
title = {Automatic Pruning for Quantized Neural Networks},
author = {Luis Guerra and Bohan Zhuang and Ian Reid and Tom Drummond},
journal= {arXiv preprint arXiv:2002.00523},
year = {2020}
}