TwinFormer：用于长序列时间序列预测的双层Transformer

TwinFormer是一种用于长序列时间序列预测的分层Transformer。它将输入划分为非重叠的时间片段，并分为两个阶段处理：（1）Local Informer采用顶部k稀疏注意力模型拟合 intra-patch 动态，随后进行平均池化；（2）Global Informer使用相同的顶部k注意力捕获长程 inter-patch 依赖。轻量级GRU对全局上下文化的 patch token 进行聚合，以实现直接的多步预测。 resulting architecture 实现了线性$O(kLd)$时间和内存复杂度。在来自六个不同领域的八个真实世界基准数据集上，包括天气、股票价格、温度、用电量、电力和疾病，以及预测 horizons $96-720$，TwinFormer在34个排名榜中取得前两名的27个位置。其中，在MAE和RMSE上分别获得第一名17个位置和第二名10个位置。该方法持续优于PatchTST、iTransformer、FEDformer、Informer和vanilla Transformers。消融实验确认了顶部k稀疏注意力优于ProbSparse以及GRU-based聚合的有效性。代码已开源于本存储库：https://github.com/Mahimakumavat1205/TwinFormer。