ETSformer：用于时间序列预测的指数平滑 Transformer
机器学习
2022-06-22 v2
摘要
近年来，Transformer 在时间序列预测中受到积极研究。虽然在多种场景下常展现前景可期的结果，传统 Transformer 并未被设计以充分利用时间序列数据特性，因而存在一些根本局限，例如通常缺乏分解能力与可解释性，且对长期预测既无效也不高效。本文提出 ETSFormer，一种新颖的时间序列 Transformer 架构，其利用指数平滑原理改进 Transformer 以用于时间序列预测。特别地，受经典时间序列预测指数平滑方法启发，我们提出新颖的指数平滑注意力（ESA）与频率注意力（FA）以替代原始 Transformer 中的自注意力机制，从而提升精度与效率。基于此，我们以模块化分解块重新设计 Transformer 架构，使其能学习将时间序列数据分解为可解释的时间序列分量如水平、趋势与季节性。在多种时间序列基准上的大量实验验证了所提方法的有效性与优势。代码见 https://github.com/salesforce/ETSformer。
引用
@article{arxiv.2202.01381,
title = {ETSformer: Exponential Smoothing Transformers for Time-series Forecasting},
author = {Gerald Woo and Chenghao Liu and Doyen Sahoo and Akshat Kumar and Steven Hoi},
journal= {arXiv preprint arXiv:2202.01381},
year = {2022}
}