学习紧凑的循环神经网络
机器学习
2016-04-12 v1 计算与语言
神经与进化计算
摘要
循环神经网络（RNNs），包括长短期记忆（LSTM）RNNs，已在多种语音识别任务上取得最先进结果。然而，这些模型通常规模过大，难以部署于有内存与延迟限制的移动设备。本工作中，我们研究通过低秩分解与参数共享方案来学习紧凑RNNs与LSTMs的机制。我们的目标是探究循环架构中可在不损失性能前提下进行压缩的冗余性。我们发现一种混合策略尤为有效：在底层使用结构化矩阵，在顶层使用共享低秩因子，在2000小时英文语音搜索任务上，将标准LSTM的参数减少75%，仅以WER（词错误率）增加0.3%为微小代价。
引用
@article{arxiv.1604.02594,
title = {Learning Compact Recurrent Neural Networks},
author = {Zhiyun Lu and Vikas Sindhwani and Tara N. Sainath},
journal= {arXiv preprint arXiv:1604.02594},
year = {2016}
}