简化长短时记忆循环神经网络:第三部分
神经与进化计算
2017-07-18 v1 机器学习
摘要
这是三部曲工作的第三部分。在第一和第二部分中,我们提出了简化长短时记忆(LSTM)循环神经网络(RNNs)的八种变体。值得注意的是,快速计算,特别是在受限计算资源下,是处理大型时间序列数据的重要因素。在本第三部分论文中,我们提出并评估了两种新的LSTM模型变体,它们大幅降低了计算负载,同时保持与基础(标准)LSTM RNNs相当的性能。在这些新变体中,除了门控信号网络外,我们在单元记忆网络中施加了(Hadamard)逐点状态乘法。
引用
@article{arxiv.1707.04626,
title = {Simplified Long Short-term Memory Recurrent Neural Networks: part III},
author = {Atra Akandeh and Fathi M. Salem},
journal= {arXiv preprint arXiv:1707.04626},
year = {2017}
}
备注
Here 5 pages (in the conference 4 pages), 10 figures, 5 tables; this is part III of a three part work, all will appear in the IKE'17 - The 16th Int'l Conference on Information & Knowledge Engineering. The 2017 World Congress in Computer Science Computer Engineering & Applied Computing | CSCE'17, July 17-20, 2017, Las Vegas, Nevada, USA