非平稳 Transformer：探索时间序列预测中的平稳性
机器学习
2023-11-27 v4 信号处理
摘要
Transformer 凭借其全局建模能力在时间序列预测中展现出强大性能。然而，在非平稳的真实世界数据（其联合分布随时间变化）上，它们的性能可能严重退化。以往研究主要采用平稳化方法来减弱原始序列的非平稳性以提升可预测性。但被剥夺了固有非平稳性的平稳化序列对于真实世界中突发事件的预测指导性较弱。本文将该问题称为过度平稳化（over-stationarization），它导致 Transformer 对不同序列生成难以区分的时间注意力，并阻碍深度模型的预测能力。为应对序列可预测性与模型能力之间的两难困境，我们提出非平稳 Transformer 作为一个通用框架，包含两个相互依赖的模块：序列平稳化（Series Stationarization）与非平稳注意力（De-stationary Attention）。具体而言，序列平稳化统一每个输入的统计量并通过恢复后的统计量转换输出以提升可预测性。为解决过度平稳化问题，非平稳注意力被设计用于通过将从原始序列学到的可区分注意力进行近似，将内在非平稳信息恢复至时间依赖关系中。我们的非平稳 Transformer 框架大幅提升了主流 Transformer 的性能，在 Transformer 上降低 MSE 49.43%，在 Informer 上降低 47.34%，在 Reformer 上降低 46.89%，使其成为时间序列预测中的最优模型（SOTA）。代码见仓库：https://github.com/thuml/Nonstationary_Transformers。
引用
@article{arxiv.2205.14415,
title = {Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting},
author = {Yong Liu and Haixu Wu and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2205.14415},
year = {2023}
}