DSTP-RNN：一种基于双阶段两阶段注意力的循环神经网络用于长期多元时间序列预测
机器学习
2019-04-17 v1 机器学习
摘要
多元时间序列的长期预测仍是一个重要但具有挑战性的问题。解决该问题的关键在于同时捕获同一时刻的空间相关性、不同时刻的时空关系以及不同序列间时间关系的长期依赖。基于注意力的循环神经网络（RNN）能有效表示外生序列与目标序列间的动态时空关系，但仅在单步时间预测与短期时间预测中表现良好。本文受人类注意力机制（包括双阶段两阶段（DSTP）模型以及目标信息与非目标信息的影响机制）启发，分别提出基于 DSTP 的 RNN（DSTP-RNN）与 DSTP-RNN-2 用于长期时间序列预测。具体而言，我们首先提出基于 DSTP 的结构以增强外生序列间的空间相关性。第一阶段产生剧烈但分散的响应权重，而第二阶段导致平稳且集中的响应权重。其次，我们在目标序列上采用多重注意力以增强长期依赖。最后，我们研究了深度空间注意力机制的性能并给出实验与解释。我们的方法在能源、金融、环境与医学四个领域的数据集上优于九种基线方法。
引用
@article{arxiv.1904.07464,
title = {DSTP-RNN: a dual-stage two-phase attention-based recurrent neural networks for long-term and multivariate time series prediction},
author = {Yeqi Liu and Chuanyang Gong and Ling Yang and Yingyi Chen},
journal= {arXiv preprint arXiv:1904.07464},
year = {2019}
}
备注
6 figures