循环神经网络的有效量化方法
机器学习
2016-12-01 v1 计算机视觉与模式识别
摘要
降低神经网络权重、激活值和梯度的比特宽度可以缩小其存储大小和内存占用，并可通过利用位运算实现更快的训练和推理。然而，先前对RNN量化的尝试表明，在使用低比特宽度权重和激活值时，性能会显著下降。本文提出了量化LSTM和GRU单元中门结构与内部连接的方法。此外，我们还提出了针对权重的均衡量化方法，以进一步减少性能下降。在PTB和IMDB数据集上的实验证实了我们方法的有效性，其性能达到或超越了此前量化RNN的最先进水平。
引用
@article{arxiv.1611.10176,
title = {Effective Quantization Methods for Recurrent Neural Networks},
author = {Qinyao He and He Wen and Shuchang Zhou and Yuxin Wu and Cong Yao and Xinyu Zhou and Yuheng Zou},
journal= {arXiv preprint arXiv:1611.10176},
year = {2016}
}