长短期记忆（LSTM）层的三种精简变体的性能
神经与进化计算
2019-01-04 v1 人工智能
机器学习
摘要
长短期记忆（LSTM）层是神经网络与机器学习领域的一项重要进展，能够实现有效的训练与令人印象深刻的推理性能。基于 LSTM 的神经网络已成功应用于语音处理与语言翻译等多种任务。通过移除某些组件可简化 LSTM 层，从而有可能在性能变化有限的情况下加速训练与运行。特别是，近期提出的称为 SLIM LSTM 的变体在初步实验中已证实支持这一观点。在此，我们对采用卷积加循环神经网络架构、分别使用标准 LSTM 与三种 SLIM LSTM 层的验证精度进行了计算分析。我们发现，对于我们考虑的架构，某些 SLIM LSTM 层的实现有可能表现得与标准 LSTM 层一样好。
引用
@article{arxiv.1901.00525,
title = {Performance of Three Slim Variants of The Long Short-Term Memory (LSTM) Layer},
author = {Daniel Kent and Fathi M. Salem},
journal= {arXiv preprint arXiv:1901.00525},
year = {2019}
}
备注
4 pages, 2 Tables, 4 Figures