基于半波高斯量化的低精度深度学习
计算机视觉与模式识别
2017-02-06 v1 人工智能
机器学习
摘要
本文考虑了深度神经网络激活值量化的问题。对流行的二值量化方法的考察表明，其包含用两个函数近似经典非线性函数双曲正切：一个分段常数符号函数，用于前馈网络计算；以及一个分段线性硬 tanh 函数，用于网络学习中的反向传播步骤。接着考虑了近似近期深度学习文献中广泛使用的 ReLU 非线性函数的问题。提出了一种半波高斯量化器（HWGQ）用于前向近似，并通过利用网络激活值和文献中常用的批量归一化操作的统计特性，显示出高效的实现。为克服因使用不同的前向和反向近似而导致的梯度不匹配问题，随后研究了几种分段反向近似器。所得量化网络（记为 HWGQ-Net）的实现，在 1 位二值权重和 2 位量化激活值下，被证明比先前已有的低精度网络更接近全精度网络（如 AlexNet、ResNet、GoogLeNet 和 VGG-Net）的性能。
引用
@article{arxiv.1702.00953,
title = {Deep Learning with Low Precision by Half-wave Gaussian Quantization},
author = {Zhaowei Cai and Xiaodong He and Jian Sun and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:1702.00953},
year = {2017}
}