PGN：RNN 的新继任者有效用于长程时间序列预测
机器学习
2024-09-27 v1
摘要
由于 RNN 的循环结构，其较长的信息传播路径在捕捉长期依赖关系、梯度爆炸/消失问题以及低效的顺序执行方面存在局限性。基于此，我们提出了一种称为并行门控网络（PGN）的新范式，作为 RNN 的新继任者。PGN 通过设计的历史信息提取（HIE）层直接从先前时间步捕获信息，并利用门控机制选择信息并将其与当前时间步信息融合。这将信息传播路径缩短至 ，有效解决了 RNN 的局限性。为了提升 PGN 在长程时间序列预测任务中的性能，我们提出了一种称为时序 PGN（TPGN）的新型时序建模框架。TPGN 包含两个分支，以全面捕获时间序列的语义信息。一个分支利用 PGN 捕获长期周期模式，同时保留其局部特征。另一个分支采用分块（patches）捕获短期信息，并聚合序列的全局表示。TPGN 实现了 的理论复杂度，确保了其运算效率。在五个基准数据集上的实验结果表明，TPGN 达到了最先进（SOTA）的性能和高效率，进一步证实了 PGN 作为 RNN 新继任者在长程时间序列预测中的有效性。代码可在该仓库获取：\url{https://github.com/Water2sea/TPGN}。
引用
@article{arxiv.2409.17703,
title = {PGN: The RNN's New Successor is Effective for Long-Range Time Series Forecasting},
author = {Yuxin Jia and Youfang Lin and Jing Yu and Shuo Wang and Tianhao Liu and Huaiyu Wan},
journal= {arXiv preprint arXiv:2409.17703},
year = {2024}
}