TiVaT：一种用于捕获多元时间序列预测中异步依赖关系的单一统一机制Transformer
机器学习
2025-02-03 v2 人工智能
摘要
多元时间序列（MTS）预测在各个领域都至关重要，但由于需要同时对时间和变量间依赖关系进行建模，仍然具有挑战性。现有的通道依赖模型（其中基于Transformer的模型占主导地位）分别处理这些依赖关系，限制了它们捕获诸如领先-滞后动态等复杂交互的能力。为了解决这个问题，我们提出了TiVaT（时间变量Transformer），这是一种新颖的架构，它包含一个单一的统一模块，即联合轴（JA）注意力模块，该模块同时处理时间和变量建模。JA注意力模块动态选择相关特征以特别捕获异步交互。此外，我们在JA注意力中引入了距离感知的时间变量采样，这是一种新颖的机制，通过学习的二维嵌入空间提取重要模式，同时减少噪声。大量实验表明，TiVaT在各种数据集上具有整体性能，特别是在具有复杂异步依赖关系的场景中表现出色。
引用
@article{arxiv.2410.01531,
title = {TiVaT: A Transformer with a Single Unified Mechanism for Capturing Asynchronous Dependencies in Multivariate Time Series Forecasting},
author = {Junwoo Ha and Hyukjae Kwon and Sungsoo Kim and Kisu Lee and Seungjae Park and Ha Young Kim},
journal= {arXiv preprint arXiv:2410.01531},
year = {2025}
}
备注
15pages