TimeDART：用于自监督时间序列表示的扩散自回归 Transformer
机器学习
2025-06-12 v5
摘要
自监督学习因能惠及下游任务并减少对标记数据的依赖而在时间序列分析中受到日益关注。尽管其有效性显著，但现有方法往往难以统一捕获长期动态演化与细微局部模式。本文提出 \textbf{TimeDART}，一种新型自监督时间序列预训练框架，统一两种强大的生成范式以学习更具迁移性的表示。具体而言，我们首先采用因果 Transformer 编码器，结合基于 patch 的嵌入策略，从左至右建模演化趋势。基于此全局建模，我们进一步引入去噪扩散过程，通过前向扩散与逆向去噪捕获细粒度局部模式。最终我们以自回归方式优化模型。结果，TimeDART 能以一致的方式有效地考虑全局与局部序列特征。我们在公开数据集上进行大量实验，针对时间序列预测与分类。实验结果表明，TimeDART 在所有比较方法上均显著优于前沿方法，验证了我们方法的有效性。我们的代码已公开于 https://github.com/Melmaphother/TimeDART。
引用
@article{arxiv.2410.05711,
title = {TimeDART: A Diffusion Autoregressive Transformer for Self-Supervised Time Series Representation},
author = {Daoyu Wang and Mingyue Cheng and Zhiding Liu and Qi Liu},
journal= {arXiv preprint arXiv:2410.05711},
year = {2025}
}
备注
25 pages, 7 figures, Accepted by the 42nd International Conference on Machine Learning (ICML 2025)