量化损失重学习方法
机器学习
2019-06-03 v1 机器学习
摘要
为了使 LSTM（长短期记忆）神经网络模型的门参数在量化后识别性能几乎不下降，本文提出一种名为量化损失重学习方法的新型量化方法。该方法在训练迭代中对门参数进行有损量化，权重参数通过在权重参数优化时调整反向传播中的梯度，学习抵消门参数量化的损失。我们通过理论推导和实验证明了该方法的有效性。门参数被量化为 0、0.5、1 三个值，在命名实体识别数据集上，采用新量化方法量化门参数的模型相比基线模型的 F1 分数仅下降 0.7%。
引用
@article{arxiv.1905.13568,
title = {Quantization Loss Re-Learning Method},
author = {Kunping Li},
journal= {arXiv preprint arXiv:1905.13568},
year = {2019}
}
备注
9 pages, 2 figures, 6 tables, 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada