TIMBA：基于双向Mamba模块和扩散模型的时间序列插补
机器学习
2024-10-10 v1
摘要
多变量时间序列的插补问题涵盖了从临床医疗到多传感器系统的广泛领域。最初,循环神经网络(RNN)被用于此任务;然而,其误差累积问题导致人们采用Transformer,利用注意力机制来缓解这些问题。同时,扩散模型在捕捉原始分布方面取得的可喜成果使其处于当前研究的前沿,通常与Transformer结合使用。在本文中,我们提出用时序数据建模更优的状态空间模型(SSM)替代面向时间的Transformer。具体来说,我们利用了最新的SSM变体S6,它融合了类似注意力的机制。通过将S6嵌入Mamba模块,我们开发了一个集成SSM、图神经网络和面向节点的Transformer的模型,以实现增强的时空表示。通过实施这些在该领域此前未被探索的架构修改,我们提出了基于双向Mamba模块和扩散模型的时间序列插补(TIMBA)。TIMBA在几乎所有基准测试场景中都取得了优越的性能,并在其他场景中,针对各种缺失值情况和三个真实世界数据集,表现相当。我们还评估了模型性能随不同缺失值数量的变化情况,并分析了其在下游任务上的性能。此外,我们提供了原始代码以复现结果。
引用
@article{arxiv.2410.05916,
title = {TIMBA: Time series Imputation with Bi-directional Mamba Blocks and Diffusion models},
author = {Javier Solís-García and Belén Vega-Márquez and Juan A. Nepomuceno and Isabel A. Nepomuceno-Chamorro},
journal= {arXiv preprint arXiv:2410.05916},
year = {2024}
}
备注
14 pages, 7 tables and 2 figures