生长与剪枝紧凑、快速且准确的 LSTM
机器学习
2018-06-01 v2 计算机视觉与模式识别
神经与进化计算
声音
机器学习
摘要
长短期记忆（LSTM）已被广泛用于序列数据建模。研究者通过堆叠 LSTM 单元来增加 LSTM 深度以提升性能。这会带来模型冗余、增加运行时间延迟，并使 LSTM 更容易过拟合。为解决这些问题，我们提出了一种隐层 LSTM（H-LSTM），其在 LSTM 原有的单级非线性控制门上添加隐层。H-LSTM 在采用更少外部堆叠层的同时提高了准确率，从而显著减少了参数数量和运行时间延迟。我们采用生长-剪枝（GP）训练，通过基于梯度的连接生长和基于幅度的连接剪枝来迭代调整隐层。这同时学习了 H-LSTM 控制门的权重与紧凑架构。我们已对图像字幕和语音识别应用进行了 GP 训练的 H-LSTM。对于 MSCOCO 数据集上的 NeuralTalk 架构，我们的三个模型将参数数量减少 38.7 倍[浮点运算（FLOPs）减少 45.5 倍]，运行时间延迟减少 4.5 倍，并将 CIDEr 分数提高 2.6。对于 AN4 数据集上的 DeepSpeech2 架构，我们的两个模型将参数数量减少 19.4 倍（FLOPs 减少 23.5 倍），运行时间延迟减少 15.7%，词错误率从 12.9% 降至 8.7%。因此，可认为 GP 训练的 H-LSTM 是紧凑、快速且准确的。
引用
@article{arxiv.1805.11797,
title = {Grow and Prune Compact, Fast, and Accurate LSTMs},
author = {Xiaoliang Dai and Hongxu Yin and Niraj K. Jha},
journal= {arXiv preprint arXiv:1805.11797},
year = {2018}
}