简化长短时记忆循环神经网络：第二部分
神经与进化计算
2017-07-18 v1 机器学习
摘要
这是三部曲工作的第二部分。在此，我们通过进一步减少自适应参数，提出第二组相互关联的五种简化长短时记忆（LSTM）循环神经网络变体。其中两个模型已在本工作的第一部分中引入。我们在基准MNIST数据集上评估并验证了我们的模型变体，并断言这些模型与基础LSTM模型相当，同时使用的参数数量逐步减少。此外，我们观察到，在使用ReLU激活函数的情况下，标准LSTM的测试准确率性能会在学习参数变大后的若干个epoch后下降。然而，所有新模型变体都维持了它们的性能。
引用
@article{arxiv.1707.04623,
title = {Simplified Long Short-term Memory Recurrent Neural Networks: part II},
author = {Atra Akandeh and Fathi M. Salem},
journal= {arXiv preprint arXiv:1707.04623},
year = {2017}
}
备注
4 pages, 6 figures, 5 tables; this is part II of three-part work, all to appear in IKE'17- The 16th Int'l Conference on Information & Knowledge Engineering, in The 2017 World Congress in Computer Science Computer Engineering & Applied Computing | CSCE'17 July 17-20, 2017, Las Vegas, Nevada, USA