用于时间序列预测的极限长短期记忆网络
机器学习
2022-10-18 v1
摘要
长短期记忆（LSTM）的出现解决了传统循环神经网络（RNN）中的梯度消失和梯度爆炸问题。LSTM 作为一种新型 RNN，已被广泛应用于文本预测、风速预报、基于 EEG 信号的抑郁症预测等各个领域。结果表明，提高 LSTM 的效率有助于提升其他应用领域的效率。在本文中，我们提出了一种改进的 LSTM 算法，即极限长短期记忆（E-LSTM），它将极限学习机（ELM）的逆矩阵部分作为一个新的“门”加入到 LSTM 的结构中。这个“门”对一部分数据进行预处理，并将处理后的数据参与 LSTM 的单元更新，从而以更少的训练轮次获得更准确的数据，进而减少整体训练时间。在本研究中，E-LSTM 模型被用于文本预测任务。实验结果表明，E-LSTM 有时单次训练轮次耗时更长，但在小数据集上测试时，新的 E-LSTM 仅需 2 个 epoch 即可获得传统 LSTM 第 7 个 epoch 的结果。因此，E-LSTM 在保持传统 LSTM 高精度的同时，也提升了 LSTM 的训练速度和整体效率。
引用
@article{arxiv.2210.08244,
title = {Extreme-Long-short Term Memory for Time-series Prediction},
author = {Sida Xing and Feihu Han and Suiyang Khoo},
journal= {arXiv preprint arXiv:2210.08244},
year = {2022}
}