HDT：用于多元时间序列预测的分层离散 Transformer
机器学习
2025-02-13 v1 人工智能
摘要
生成模型在多元时间序列预测（MTS）中受到了广泛关注，特别是因为它们能够生成高保真样本。预测多元时间序列的概率分布是一项具有挑战性但实用的任务。尽管最近有一些尝试来处理这项任务，但两个主要挑战仍然存在：1）一些现有的生成方法在高维多元时间序列预测中表现不佳，难以扩展到更高维度；2）固有的高维多元属性限制了现有生成模型的预测长度。在本文中，我们指出离散令牌表示可以以更快的推理时间建模高维 MTS，并且利用目标自身的长期趋势进行预测可以高精度地延长预测长度。受此启发，我们提出了一个名为分层离散 Transformer（HDT）的向量量化框架，该框架使用 l2 归一化增强的向量量化策略将时间序列建模为离散令牌表示，其中我们将 MTS 预测转化为离散令牌生成。为了解决生成模型在长期预测中的局限性，我们提出了一种分层离散 Transformer。该模型在低层捕获目标的离散长期趋势，并将该趋势作为条件，在高层生成目标的离散表示，从而引入目标自身的特征，以延长高维 MTS 中的预测长度。在五个流行的 MTS 数据集上进行的大量实验验证了我们提出的方法的有效性。
引用
@article{arxiv.2502.08302,
title = {HDT: Hierarchical Discrete Transformer for Multivariate Time Series Forecasting},
author = {Shibo Feng and Peilin Zhao and Liu Liu and Pengcheng Wu and Zhiqi Shen},
journal= {arXiv preprint arXiv:2502.08302},
year = {2025}
}