面向高维多变量时间序列预测的可扩展 Transformer
机器学习
2024-08-09 v1 人工智能
信息检索
摘要
多变量时间序列（MTS）预测的深度模型最近取得了显著成功。通道依赖模型捕获复杂的依赖关系，而通道独立模型则无法捕获。然而，实际应用中通道数量远超现有通道依赖模型的能力，与常见预期相反，一些模型在处理高维数据时表现不佳，这引发了对通道依赖模型性能的质疑。为此，我们首先研究了这些通道依赖模型在高维 MTS 数据上表现不佳的原因。我们的分析表明，两个主要问题来自于引入的与无关序列相关的噪声，这增加了捕获关键 inter-channel 依赖性的难度，以及由于高维数据导致的训练策略挑战。为此，我们提出 STHD（Scalable Transformer for High-Dimensional Multivariate Time Series Forecasting），其包含三个组件：a) 关系矩阵稀疏性限制噪声引入并缓解内存问题；b) ReIndex 作为一种训练策略，使更灵活的 batch size 设置成为可能并增加训练数据的多样性；c) 能够处理 2-D 输入并捕获通道依赖性的 Transformer。这些组件共同使 STHD 能够在保持计算可行性的同时处理高维 MTS。此外，实验结果表明 STHD 在三个高维数据集上取得显著改进：Crime-Chicago、Wiki-People 和 Traffic。源代码和数据集已公开可用 https://github.com/xinzzzhou/ScalableTransformer4HighDimensionMTSF.git。
关键词
引用
@article{arxiv.2408.04245,
title = {Scalable Transformer for High Dimensional Multivariate Time Series Forecasting},
author = {Xin Zhou and Weiqing Wang and Wray Buntine and Shilin Qu and Abishek Sriramulu and Weicong Tan and Christoph Bergmeir},
journal= {arXiv preprint arXiv:2408.04245},
year = {2024}
}