基于交替方向乘子法的循环神经网络语言模型低比特量化
机器学习
2021-12-01 v1
摘要
循环神经网络语言模型（RNNLMs）的高内存消耗与计算成本限制了其在资源受限设备上的更广泛应用。近年来，能够产生极低比特压缩（例如二值化RNNLMs）的神经网络量化技术正获得越来越多的研究关注。直接训练量化神经网络较为困难。通过将量化RNNLMs训练表述为优化问题，本文提出一种使用交替方向乘子法（ADMM）从零开始训练量化RNNLMs的新方法。该方法还可利用绑定低比特量化表灵活调整压缩率与模型性能之间的权衡。在Penn Treebank（PTB）和Switchboard（SWBD）两项任务上的实验表明，所提出的ADMM量化相比全精度基线RNNLMs实现了高达31倍的模型尺寸压缩因子。相比基线二值化RNNLM量化，模型训练收敛速度也加快了5倍。索引词：语言模型，循环神经网络，量化，交替方向乘子法。
引用
@article{arxiv.2111.14836,
title = {Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers},
author = {Junhao Xu and Xie Chen and Shoukang Hu and Jianwei Yu and Xunying Liu and Helen Meng},
journal= {arXiv preprint arXiv:2111.14836},
year = {2021}
}