在三值网络中利用诱导稀疏性的正则化压缩低精度深度神经网络
计算机视觉与模式识别
2017-10-11 v2
摘要
本文提出了一种用于产生稀疏三值神经网络的低精度深度神经网络训练技术。该技术在训练过程中结合了硬件实现成本，以在推理时实现显著的模型压缩。训练包含三个阶段：使用 L2 正则化和量化阈值正则化进行网络训练、量化剪枝，以及最后的重训练。在 MNIST 和 CIFAR10 数据集上，与常规方法相比，所得网络实现了更高的准确率、更小的内存占用和更低的计算复杂度。我们的网络稀疏度高达 98%，且比等效的二值和三值模型分别小 5 倍和 11 倍，这转化为硬件实现中显著的资源和速度优势。
引用
@article{arxiv.1709.06262,
title = {Compressing Low Precision Deep Neural Networks Using Sparsity-Induced Regularization in Ternary Networks},
author = {Julian Faraone and Nicholas Fraser and Giulio Gambardella and Michaela Blott and Philip H. W. Leong},
journal= {arXiv preprint arXiv:1709.06262},
year = {2017}
}
备注
To appear as a conference paper at the 24th International Conference On Neural Information Processing (ICONIP 2017)