MambaTS：改进的选择性状态空间模型用于长期时间序列预测
机器学习
2024-05-28 v1 人工智能
摘要
近年来，Transformer已成为长期序列预测(LTSF)的事实标准架构，但面临着二次复杂度和置换不变性偏差等挑战。最近的一个模型Mamba，基于选择性状态空间模型(SSM)，已成为Transformer的有竞争力的替代方案，提供了相当的性能，更高的吞吐量以及与序列长度相关的线性复杂度。在这项研究中，我们分析了当前Mamba在LTSF中的局限性，并提出了四项有针对性的改进，从而产生了MambaTS。我们首先引入了沿时间维度的变量扫描，以将所有变量的历史信息整合在一起。我们建议Mamba中的因果卷积对于LTSF不是必需的，并提出了时间Mamba块(TMB)。我们进一步为TMB的选择性参数引入了一个丢弃机制，以减轻模型过拟合。此外，我们通过引入变量排列训练来解决变量扫描顺序敏感性问题。我们进一步提出了沿时间维度的变量感知扫描，以在训练期间动态发现变量关系，并通过在推理期间求解访问所有节点的最短路径问题来解码最优变量扫描顺序。在八个公共数据集上进行的大量实验表明，MambaTS实现了新的最先进性能。
引用
@article{arxiv.2405.16440,
title = {MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting},
author = {Xiuding Cai and Yaoyao Zhu and Xueyao Wang and Yu Yao},
journal= {arXiv preprint arXiv:2405.16440},
year = {2024}
}