循环神经网络的有效量化方法
计算机视觉与模式识别
2018-02-09 v1
摘要
深度学习，特别是循环神经网络（RNN），在包括机器翻译、语言理解和电影帧生成在内的多种任务中展现出了优越的精度。然而，这些深度学习方法在计算上非常昂贵。在大多数情况下，大规模实现使用图形处理单元（GPU）。同时，为在包括现场可编程门阵列（FPGA）和移动平台在内的专用硬件上部署解决方案，提出了高能效的 RNN 方法。本文针对包括长短期记忆（LSTM）、门控循环单元（GRU）和卷积长短期记忆（ConvLSTM）在内的循环神经网络（RNN）技术，提出了一种有效的量化方法。我们实现了不同的量化方法，包括二值连接 {-1, 1}、三值连接 {-1, 0, 1} 和四值连接 {-1, -0.5, 0.5, 1}。这些所提方法在 IMDB 上的情感分析以及 moving MNIST 数据集上的视频帧预测等不同数据集上进行了评估。实验结果分别与 LSTM、GRU 和 ConvLSTM 的全精度版本进行了比较。它们在情感分析和视频帧预测方面均展现出有前景的结果。
引用
@article{arxiv.1802.02615,
title = {Effective Quantization Approaches for Recurrent Neural Networks},
author = {Md Zahangir Alom and Adam T Moody and Naoya Maruyama and Brian C Van Essen and Tarek M. Taha},
journal= {arXiv preprint arXiv:1802.02615},
year = {2018}
}
备注
8 pages, 23 figures,Submitted to International Joint Conference on Neural Networks (IJCNN) 2018