用于多变量时间序列预测的具有局部与季节性适应的稀疏 Transformer
机器学习
2024-07-17 v2 计算与语言
摘要
Transformer 因其捕获长期依赖关系的能力，在多变量时间序列 (MTS) 预测中取得了卓越的性能。然而，规范的注意力机制有两个关键限制：(1) 其二次时间复杂度限制了序列长度；(2) 它从整个历史序列生成未来值。为了解决这个问题，我们提出了一种由三个稀疏组件组成的 Dozer Attention 机制：(1) Local，每个查询排他性地关注相邻时间步局部窗口内的键。(2) Stride，使每个查询能够关注预定义间隔处的键。(3) Vary，允许查询选择性地关注历史序列的一个子集。值得注意的是，随着预测范围的延长，该子集的大小会动态扩展。这三个组件旨在捕获 MTS 数据的基本属性，包括局部性、季节性和全局时间依赖性。此外，我们提出了 Dozerformer 框架，将 Dozer Attention 机制用于 MTS 预测任务。我们在九个基准数据集上评估了所提出的 Dozerformer 框架与近期最先进方法的对比，并证实了其卓越的性能。实验结果表明，在时间序列预测过程中排除一部分历史时间步不会损害准确性，同时显著提高了效率。代码可在 https://github.com/GRYGY1215/Dozerformer 获取。
引用
@article{arxiv.2312.06874,
title = {Sparse Transformer with Local and Seasonal Adaptation for Multivariate Time Series Forecasting},
author = {Yifan Zhang and Rui Wu and Sergiu M. Dascalu and Frederick C. Harris},
journal= {arXiv preprint arXiv:2312.06874},
year = {2024}
}