Mamba 在时间序列预测中有效吗？
机器学习
2024-04-30 v3
摘要
在时间序列预测（TSF）领域，模型必须善于识别和提炼历史时间序列数据中的隐藏模式以预测未来状态。基于 Transformer 的模型在 TSF 中表现出强大的效能，主要归功于其在捕捉这些模式方面的优势。然而，Transformer 的二次复杂度导致计算效率低下和高成本，这在一定程度上阻碍了 TSF 模型在真实场景中的部署。最近，Mamba 作为一种选择性状态空间模型，因其在保持近线性复杂度的同时能够处理序列中的依赖关系而受到关注。对于 TSF 任务，这些特性使 Mamba 能够像 Transformer 一样理解隐藏模式，并且与 Transformer 相比降低了计算开销。因此，我们提出了一种用于 TSF 的基于 Mamba 的模型，命名为 Simple-Mamba（S-Mamba）。具体而言，我们通过线性层对每个变量的时间点进行自主分词。利用双向 Mamba 层提取变量间的相关性，并设置前馈网络学习时间依赖性。最后，通过线性映射层生成预测结果。在十三个公共数据集上的实验证明，S-Mamba 保持了低计算开销并取得了领先的性能。此外，我们进行了广泛的实验以探索 Mamba 在 TSF 任务中的潜力。我们的代码可在 https://github.com/wzhwzhwzh0921/S-D-Mamba 获取。
引用
@article{arxiv.2403.11144,
title = {Is Mamba Effective for Time Series Forecasting?},
author = {Zihan Wang and Fanheng Kong and Shi Feng and Ming Wang and Xiaocui Yang and Han Zhao and Daling Wang and Yifei Zhang},
journal= {arXiv preprint arXiv:2403.11144},
year = {2024}
}