中文

Stecformer:面向多元长期时间序列预测的时空编码级联Transformer

机器学习 2023-05-29 v1 人工智能

摘要

多元长期时间序列预测在诸多领域具有重大应用价值,如能耗与天气预报。随着基于 transformer 的方法的发展,多元长期时间序列预测的性能已显著提升,然而,基于 transformer 的模型中空间特征提取的研究甚少,且因跨度较大,不同预测周期间的一致性不尽如人意。在本工作中,我们从特征提取与目标预测两方面提出一套完整方案以解决这些问题。在提取方面,我们设计了一个高效的时空编码提取器,包含半自适应图以获取充分的时空信息。在预测方面,我们提出级联解码预测器(CDP)以增强不同区间间的相关性,其亦可作为通用组件提升基于 transformer 方法的性能。所提方法称为时空编码级联 Transformer(Stecformer),相较基线模型取得了显著差距,并在五个基准数据集上可与基于 transformer 方法的当前最优性能相媲美。我们希望我们的尝试未来能成为多元长期时间序列预测中的常规配置。

关键词

引用

@article{arxiv.2305.16370,
  title  = {Stecformer: Spatio-temporal Encoding Cascaded Transformer for Multivariate Long-term Time Series Forecasting},
  author = {Zheng Sun and Yi Wei and Wenxiao Jia and Long Yu},
  journal= {arXiv preprint arXiv:2305.16370},
  year   = {2023}
}

备注

Accepted by First International Workshop on Temporal Analytics@PAKDD2023