长短期记忆（LSTM）循环神经网络中的简化门控
神经与进化计算
2017-01-13 v1 机器学习
摘要
标准 LSTM 循环神经网络虽然在长程依赖序列应用中非常强大，但具有高度复杂的结构和相对较大的（自适应）参数。在本工作中，我们给出了标准 LSTM 循环神经网络架构与三种新的参数缩减变体之间的经验比较，这些变体通过从各个门控信号中消除输入信号、偏置和隐藏单元信号的组合而获得。在两个序列数据集上的实验表明，这三种简称为 LSTM1、LSTM2 和 LSTM3 的新变体能够以更少的（自适应）参数取得与标准 LSTM 模型相当的性能。
引用
@article{arxiv.1701.03441,
title = {Simplified Gating in Long Short-term Memory (LSTM) Recurrent Neural Networks},
author = {Yuzhen Lu and Fathi M. Salem},
journal= {arXiv preprint arXiv:1701.03441},
year = {2017}
}
备注
5 pages, 4 Figures, 3 Tables. arXiv admin note: substantial text overlap with arXiv:1612.03707