面向时序预测的顺序顺序稳健 Mamba
机器学习
2024-11-01 v1 人工智能
机器学习
摘要
Mamba 最近作为一种处理序列数据的近线性复杂度的变体备受关注。然而，虽然时序数据中的通道通常没有特定的顺序，但近期的研究采用 Mamba 来捕获时序数据中的通道依赖性 (CD)，引入了顺序偏置。为解决此问题，我们提出 SOR-Mamba，一种时序预测方法：(1) 引入正则化策略，以最小化来自逆转通道顺序数据生成的两个嵌入向量之间的差异，从而增强对通道顺序的稳健性；(2) 消除最初用于捕获序列数据中局部信息的 1D 卷积。此外，我们引入通道相关建模 (CCM)，作为一种预训练任务，以保持从数据空间到潜在空间中通道间相关性，以增强捕获 CD 的能力。广泛的实验表明，所提方法在标准和迁移学习场景中均表现有效。代码可在 https://github.com/seunghan96/SOR-Mamba 获取。
引用
@article{arxiv.2410.23356,
title = {Sequential Order-Robust Mamba for Time Series Forecasting},
author = {Seunghan Lee and Juri Hong and Kibok Lee and Taeyoung Park},
journal= {arXiv preprint arXiv:2410.23356},
year = {2024}
}
备注
NeurIPS Workshop on Time Series in the Age of Large Models, 2024