基于FloatSD8权值表示的低复杂度LSTM训练与推理
机器学习
2020-01-24 v1 机器学习
摘要
FloatSD技术已在低复杂度卷积神经网络（CNNs）的训练与推理上展现出优异性能。本文将FloatSD应用于循环神经网络（RNNs），具体为长短期记忆（LSTM）。除FloatSD权值表示外，我们将模型训练中的梯度和激活量化为8位。此外，累加运算与权值主副本的算术精度由32位降至16位。我们证明了所提训练方案能够从零成功训练多个LSTM模型，同时完全保持模型精度。最后，为验证所提方法在实现上的优势，我们设计了一个LSTM神经元电路，并表明其显著减小了芯片面积与功耗。
引用
@article{arxiv.2001.08450,
title = {Low-Complexity LSTM Training and Inference with FloatSD8 Weight Representation},
author = {Yu-Tung Liu and Tzi-Dar Chiueh},
journal= {arXiv preprint arXiv:2001.08450},
year = {2020}
}
备注
Submitted to International Joint Conference on Neural Networks (IJCNN) 2020