用于深度神经网络的重训练迭代权重量化

模型压缩因其在保持 DNN 精度的同时能够显著降低硬件资源需求而备受关注。模型压缩对于内存密集型的循环神经网络尤为有用，因为更小的内存占用不仅对降低存储需求至关重要，而且对快速推理操作也是如此。量化被认为是一种有效的模型压缩方法，研究人员致力于最小化表示参数的比特数。在这项工作中，我们引入了一种迭代技术来应用量化，在不修改训练算法的情况下实现了高压缩比。在所提出的技术中，权重量化后使用全精度权重对模型进行重训练。我们表明，迭代重训练会产生新的权重集，这些权重集可以在每次迭代中以不断降低的量化损失进行量化。我们还表明，量化能够有效地利用剪枝这一另一种有效的模型压缩方法。还讨论了结合这两种方法的实现问题。我们的实验结果表明，使用 1 比特量化权重的 LSTM 模型在 PTB 数据集上足以保持精度且没有任何精度下降，而以前的方法要求量化权重至少需要 2-4 比特。