面向长时间序列预测的 DRFormer：多尺度 Transformer 利用多样化感受野
机器学习
2024-08-06 v1 人工智能
机器学习
摘要
长期时间序列预测（LTSF）在金融、交通预测等领域得到广泛应用。最近，基于补丁的 Transformer 作为一种有前景的 method， 将数据分割为子级补丁作为输入 token。然而，现有方法大多依赖固定的补丁长度， 需要专家知识，且在捕获不同尺度上的多样特征方面存在挑战。此外，时间序列数据在不同时间尺度上表现出多样的变化和波动，传统方法难以有效建模。本文提出一种动态 tokenizer，配合动态稀疏学习算法，以捕获时间序列数据的多样化感受野和稀疏模式。为构建层次化感受野，我们开发了多尺度 Transformer 模型，配合多尺度序列提取，能够捕获多分辨率特征。此外，我们引入一种 group-aware rotary position encoding 技术，以增强不同时间尺度下表示之间的 intra-和 inter-group 位置意识。我们称之为 DRFormer。在 various 真实数据集上评估 our 方法，实验结果表明其优于现有 method。我们的代码可在 https://github.com/ruixindingECNU/DRFormer 获取。
关键词
引用
@article{arxiv.2408.02279,
title = {DRFormer: Multi-Scale Transformer Utilizing Diverse Receptive Fields for Long Time-Series Forecasting},
author = {Ruixin Ding and Yuqi Chen and Yu-Ting Lan and Wei Zhang},
journal= {arXiv preprint arXiv:2408.02279},
year = {2024}
}