UniTST：有效建模多元时间序列预测中的序列间和序列内依赖关系
机器学习
2024-06-10 v1 人工智能
摘要
基于Transformer的模型已成为多元时间序列预测（MTSF）的强大工具。然而，现有的Transformer模型通常无法捕捉MTS数据中跨变量和时间维度的复杂依赖关系。一些最近的模型被提出通过两个顺序或并行的注意力机制分别捕捉变量和时间依赖关系。然而，这些方法不能直接且明确地学习复杂的序列间和序列内依赖关系。在这项工作中，我们首先证明这些依赖关系非常重要，因为它们通常存在于现实世界的数据中。为了直接对这些依赖关系进行建模，我们提出了一个基于Transformer的模型UniTST，该模型包含一个对扁平化补丁令牌的统一注意力机制。此外，我们添加了一个调度器模块，该模块降低了复杂性，并使模型适用于可能大量变量的情况。尽管我们提出的模型采用简单的架构，但正如我们在多个时间序列预测数据集上的大量实验所示，它提供了令人信服的性能。
引用
@article{arxiv.2406.04975,
title = {UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting},
author = {Juncheng Liu and Chenghao Liu and Gerald Woo and Yiwei Wang and Bryan Hooi and Caiming Xiong and Doyen Sahoo},
journal= {arXiv preprint arXiv:2406.04975},
year = {2024}
}