TSPulse:用于快速时间序列分析的轻量预训练模型,具解缝表示
机器学习
2026-03-05 v3 人工智能
摘要
时间序列任务常受益于跨越多个表示空间 (如时间 vs. 频率) 的信号,以及在不同抽象层级 (如局部模式 vs. 全局语义) 上的表达。然而,现有的预训练时间序列模型会将这些异构信号缠结到单个大型嵌入中,限制了可迁移性和直接的零样本可用性。为此,我们提出 TSPulse,一组为各种时间序列诊断任务优化的超轻量预训练模型 (100 万参数),具解缝特性。TSPulse 引入一种新型预训练框架,将掩码重建显式增强为跨空间和抽象层级的解缝,学习三个互补的嵌入视图 (时间、频谱和语义),有效启用零样本迁移。在此基础上,我们引入各种轻量级后处理模块,基于任务类型选择性地注意力并融合这些解缝视图,以实现简单而有效的任务专门化。为进一步提高鲁棒性并缓解现有方法中常见的掩码偏置,我们提出一种简单而有效的混合掩码策略,以增强预训练期间的缺失多样性。尽管模型体积紧凑,TSPulse 在四项时间序列诊断任务上实现了强劲且一致的提升:在 TSB-AD 异常检测排行榜上提升 20%,在相似度搜索上提升 25%,在插值重构上提升 50%,在多变量分类上提升 5-16%,在超过 75 个数据集上超越体积为 10-100 倍的模型。TSPulse 实现了最先进的零样本性能、高效微调,并支持无 GPU 部署。模型和源代码已公开于 https://huggingface.co/ibm-granite/granite-timeseries-tspulse-r1。
引用
@article{arxiv.2505.13033,
title = {TSPulse: Tiny Pre-Trained Models with Disentangled Representations for Rapid Time-Series Analysis},
author = {Vijay Ekambaram and Subodh Kumar and Arindam Jati and Sumanta Mukherjee and Tomoya Sakai and Pankaj Dayama and Wesley M. Gifford and Jayant Kalagnanam},
journal= {arXiv preprint arXiv:2505.13033},
year = {2026}
}
备注
Accepted in ICLR 2026