EA-LSTM：基于进化注意力的LSTM用于时间序列预测
机器学习
2018-11-12 v1 神经与进化计算
机器学习
摘要
近年来，使用深度学习方法尤其是长短期记忆神经网络（LSTMs）进行时间序列预测取得了显著成果。尽管LSTMs有助于捕捉长期依赖关系，但其在多个时间步内对不同子窗口特征给予不同程度注意的能力不足。为解决此问题，提出一种基于竞争随机搜索的进化注意力LSTM训练方法用于多元时间序列预测。通过迁移共享参数，将一种进化注意力学习方法引入LSTMs模型。因此，如同生物进化一般，基于重要性的注意力采样模式可在时间关系挖掘过程中得以确认。为避免陷入传统基于梯度方法的局部优化，提出一种受进化计算启发的竞争随机搜索方法，其能很好地配置注意力层中的参数。实验结果表明，与其他基线方法相比，所提模型可获得具有竞争力的预测性能。
引用
@article{arxiv.1811.03760,
title = {EA-LSTM: Evolutionary Attention-based LSTM for Time Series Prediction},
author = {Youru Li and Zhenfeng Zhu and Deqiang Kong and Hua Han and Yao Zhao},
journal= {arXiv preprint arXiv:1811.03760},
year = {2018}
}