TimeXer：赋能包含外生变量的时间序列预测中的Transformer
机器学习
2024-11-12 v4 人工智能
摘要
深度模型在时间序列预测中展现出惊人的性能。然而，由于现实应用中变量的部分观察，仅关注目标——即内生变量——通常不足以保证准确的预测。值得注意的是，系统通常被记录为多个变量，其中外生变量可以为内生变量提供有价值的外部信息。因此，与已建立的多变量或单变量预测范式不同，后者要么将所有变量平等对待，要么忽略外生信息；本文关注更实际的setting：包含外生变量的时间序列预测。我们提出了一种新方法TimeXer，用于摄取外部信息以增强内生变量的预测。通过巧妙设计的嵌入层，TimeXer使标准Transformer具备整合内生和外生信息的能力，其中同时使用patch-wise自注意力和variately间的cross注意力。此外，学习全局内生token以有效地将外生序列中潜在的因果信息桥接到内生时间块中。实验上，TimeXer在十二个真实世界预测基准测试中实现了持续的state-of-the-art性能，并展现出显著的普适性和可扩展性。代码已提供：https://github.com/thuml/TimeXer
引用
@article{arxiv.2402.19072,
title = {TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables},
author = {Yuxuan Wang and Haixu Wu and Jiaxiang Dong and Guo Qin and Haoran Zhang and Yong Liu and Yunzhong Qiu and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2402.19072},
year = {2024}
}