K变量时间序列等价于K个词：面向长期多元时间序列预测的朴素Transformer架构演进
机器学习
2022-12-07 v1
摘要
多元时间序列预测（MTSF）是众多真实应用场景中的基础问题。近来，Transformer已成为MTSF的事实标准解决方案，尤其适用于长期预测情形。然而，除一次前向操作外，现有MTSF Transformer架构中的基础配置几乎未经仔细验证。在本研究中，我们指出当前MTSF Transformer架构中的分词策略忽略了Transformer的令牌一致性归纳偏置。因此，朴素MTSF Transformer难以捕捉时间序列中的细节并表现出较差性能。基于该观察，我们对朴素MTSF Transformer的基础架构进行了一系列演进，改变了有缺陷的分词策略，以及解码器结构与嵌入方式。令人惊讶的是，演进后的简单Transformer架构极为有效，成功避免了朴素MTSF Transformer中的过平滑现象，实现了更细致准确的预测，甚至大幅优于专为MTSF精心设计的SOTA Transformer。
引用
@article{arxiv.2212.02789,
title = {A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting},
author = {Zanwei Zhou and Ruizhe Zhong and Chen Yang and Yan Wang and Xiaokang Yang and Wei Shen},
journal= {arXiv preprint arXiv:2212.02789},
year = {2022}
}