PeriodNet：提升注意力机制在时间序列预测中的潜力
机器学习
2025-11-26 v1 人工智能
摘要
注意力机制在序列建模中展现出显著潜力，例如其在自然语言处理中的成功应用，典型代表包括双向编码器表示来自变换器（BERT）和生成式预训练变换器（GPT）。尽管取得了这些进展，其在时间序列预测（TSF）中的利用尚未达到预期。探索时间序列预测中注意力机制的更好网络结构在多个领域具有重大意义。本文提出 PeriodNet，采用全新的结构进行单变量和多变量时间序列预测。PeriodNet 引入周期注意力和稀疏周期注意力机制来分析相邻周期，增强了局部特征、周期模式和全局依赖关系的挖掘。为了实现高效的跨变量建模，我们引入迭代分组机制，可直接减少跨变量冗余。为充分利用编码器端提取的特征，我们重新设计了 vanilla Transformer 的整体架构，并提出周期扩散器（period diffuser）以实现精确的多周期预测。通过在八个数据集上进行的全面实验，我们证明 PeriodNet 在均方误差和平均绝对误差方面优于六种最先进模型，在单变量和多变量 TSF 场景中均表现优异。特别地，在预测长度为 720 的时间序列时，PeriodNet 相比基于传统编码器-解码器 Transformer 架构的其他模型实现了 22% 的相对提升。
引用
@article{arxiv.2511.19497,
title = {PeriodNet: Boosting the Potential of Attention Mechanism for Time Series Forecasting},
author = {Bowen Zhao and Huanlai Xing and Zhiwen Xiao and Jincheng Peng and Li Feng and Xinhan Wang and Rong Qu and Hui Li},
journal= {arXiv preprint arXiv:2511.19497},
year = {2025}
}