简化长短期记忆循环神经网络：第一部分
神经与进化计算
2017-07-18 v1 机器学习
摘要
我们通过均匀减少门控机制中的自适应参数块，提出了标准长短期记忆（LSTM）循环神经网络的五种变体。为简单起见，我们将这些模型分别称为 LSTM1、LSTM2、LSTM3、LSTM4 和 LSTM5。此类参数减少的变体能够加速数据训练计算，并且更适合在受限嵌入式平台上实现。我们在经典 MNIST 数据集上比较评估并验证了我们的五个变体模型，证明这些变体模型在使用较少参数数量的同时可与标准 LSTM 模型实现相媲美。此外，我们观察到在某些情况下，使用 ReLU 非线性时标准 LSTM 的准确率性能会在若干轮次后下降；然而，LSTM3、LSTM4 和 LSTM5 将保持其性能。
引用
@article{arxiv.1707.04619,
title = {Simplified Long Short-term Memory Recurrent Neural Networks: part I},
author = {Atra Akandeh and Fathi M. Salem},
journal= {arXiv preprint arXiv:1707.04619},
year = {2017}
}
备注
4 pages, 6 figures, 5 tables. Part I of a three part publications that will appear in IKE'17 - The 16th Int'l Conference on Information & Knowledge Engineering The 2017 World Congress in Computer Science, Computer Engineering & Applied Computing | CSCE'17, July 17-20, 2017, Las Vegas, Nevada, USA