傅里叶混合窗口注意力：加速Informer用于长序列时间序列预测
机器学习
2024-04-18 v3 人工智能
摘要
我们研究一种基于快速局部-全局窗口的注意力方法，以加速Informer用于长序列时间序列预测。虽然窗口注意力具有局部性并可大幅节省计算量，但其缺乏捕捉全局token信息的能力，这由后续的傅里叶变换块弥补。我们的方法称为FWin，不依赖于Informer的ProbSparse注意力所基于的查询稀疏性假设与经验近似。通过在单变量和多变量数据集上的实验，我们表明FWin变换器在提高Informer整体预测精度的同时，将其推理速度加速1.6至2倍。我们还给出FWin注意力的数学定义，并证明在注意力矩阵的块对角可逆（BDI）条件下其等价于标准全注意力。实验表明，对于典型基准数据集，BDI以高概率成立。
引用
@article{arxiv.2307.00493,
title = {Fourier-Mixed Window Attention: Accelerating Informer for Long Sequence Time-Series Forecasting},
author = {Nhat Thanh Tran and Jack Xin},
journal= {arXiv preprint arXiv:2307.00493},
year = {2024}
}
备注
19 pages (main), 11 pages (appendix), 8 figures