用于时间序列预测的双阶段注意力循环神经网络
机器学习
2017-08-15 v4 机器学习
摘要
非线性自回归外生 (NARX) 模型基于时间序列的先前值以及多个驱动（外生）序列的当前和过去值来预测当前值，该模型已被研究数十年。尽管已开发出各种 NARX 模型，但很少有模型能适当捕捉长期时间依赖性并选择相关的驱动序列来进行预测。在本文中，我们提出了一种双阶段注意力循环神经网络 (DA-RNN) 来解决这两个问题。在第一阶段，我们引入输入注意力机制，通过参考先前的编码器隐藏状态，在每个时间步自适应地提取相关的驱动序列（即输入特征）。在第二阶段，我们使用时间注意力机制在所有时间步中选择相关的编码器隐藏状态。通过这种双阶段注意力方案，我们的模型不仅能有效进行预测，而且易于解释。基于 SML 2010 数据集和 NASDAQ 100 股票数据集的详尽实证研究表明，DA-RNN 在时间序列预测方面优于最先进的方法。
引用
@article{arxiv.1704.02971,
title = {A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction},
author = {Yao Qin and Dongjin Song and Haifeng Chen and Wei Cheng and Guofei Jiang and Garrison Cottrell},
journal= {arXiv preprint arXiv:1704.02971},
year = {2017}
}
备注
International Joint Conference on Artificial Intelligence (IJCAI), 2017