关于循环神经网络的量化
机器学习
2021-01-15 v1
摘要
神经网络的整数量化可定义为使用降低的整数精度，对标准神经网络公式的高精度计算进行近似。它在机器学习（ML）系统的高效部署与执行中发挥着重要作用，可减少内存消耗并利用通常更快的计算。在本工作中，我们提出一种仅使用整数的量化策略，用于长短期记忆（LSTM）神经网络拓扑，而LSTM本身正是许多生产型ML系统的基础。我们的量化策略准确（例如适用于训练后量化）、高效且执行快速（利用8位整数权重和主要为8位激活），并能够面向多种硬件（通过利用常见CPU架构中可用的指令集，以及可用的神经网络加速器）。
引用
@article{arxiv.2101.05453,
title = {On the quantization of recurrent neural networks},
author = {Jian Li and Raziel Alvarez},
journal= {arXiv preprint arXiv:2101.05453},
year = {2021}
}