GBT：用于非平稳时间序列预测的两阶段Transformer框架
机器学习
2023-07-18 v1
摘要
本文指出时间序列预测Transformer(TSFT)存在由未知解码器输入的不当初始化方法引起的严重过拟合问题，尤其在处理非平稳时间序列时。基于该观察，我们提出GBT，一种带有良好开端(Good Beginning)的新型两阶段Transformer框架。它将TSFT的预测过程解耦为自回归(Auto-Regression)阶段与自回归(Self-Regression)阶段两个 stage，以应对输入序列与预测序列间不同统计性质的问题。自回归阶段的预测结果作为良好开端，即自回归阶段输入的更好初始化。我们还提出误差分数修正模块，以进一步增强GBT中自回归阶段的预测能力。在七个基准数据集上的大量实验表明，GBT以仅使用标准注意力与卷积，在拥有更少时间与空间复杂度的同时，优于SOTA TSFTs（FEDformer、Pyraformer、ETSformer等）及许多其他预测模型（SCINet、N-HiTS等）。它也具有足够的通用性，可与这些模型耦合以增强其预测能力。源代码见：https://github.com/OrigamiSL/GBT
引用
@article{arxiv.2307.08302,
title = {GBT: Two-stage transformer framework for non-stationary time series forecasting},
author = {Li Shen and Yuning Wei and Yangzhu Wang},
journal= {arXiv preprint arXiv:2307.08302},
year = {2023}
}
备注
Accepted by Neural Networks