通过堆叠低维二值卷积滤波器压缩深度卷积神经网络
计算机视觉与模式识别
2020-10-07 v1 机器学习
摘要
深度卷积神经网络(CNN)已成功应用于许多现实问题。然而,深度CNN模型巨大的内存开销给将其部署到内存受限设备(如手机)上带来了巨大挑战。降低深度CNN模型内存开销的一种流行方法是训练二值CNN,其中卷积滤波器中的权重为1或-1,因此每个权重可使用单比特高效存储。然而,现有二值CNN模型的压缩比上限约为32。为克服此限制,我们提出一种通过堆叠低维二值卷积滤波器来压缩深度CNN模型的新方法。我们所提方法通过从一组低维二值卷积滤波器中选择并堆叠来近似标准卷积滤波器。该组低维二值卷积滤波器在给定的卷积层中所有滤波器间共享。因此,我们的方法将比二值CNN模型实现更大的压缩比。为训练所提模型,我们从理论上证明了所提模型等价于选择并堆叠由低维二值滤波器生成的中间特征图。因此,所提模型可使用split-transform-merge策略高效训练。我们还详细分析了模型推理时模型的内存与计算开销。我们在两个基准数据集上将所提方法与其他五种流行的模型压缩技术进行比较。实验结果表明,所提方法在保持可比精度的同时,实现了比现有方法高得多的压缩比。
引用
@article{arxiv.2010.02778,
title = {Compressing Deep Convolutional Neural Networks by Stacking Low-dimensional Binary Convolution Filters},
author = {Weichao Lan and Liang Lan},
journal= {arXiv preprint arXiv:2010.02778},
year = {2020}
}