基于扩散过程与插值-插值-预测掩码的自监督时间序列表示学习

时间序列表示学习（TSRL）聚焦于为各种时间序列（TS）建模任务生成信息丰富的表示。传统的自监督学习（SSL）方法在 TSRL 中主要分为四类：重构型、对抗型、对比型和预测型，每类方法都面临对噪声和复杂数据细节敏感的问题。最近，基于扩散的方法展现出先进的生成能力，但主要针对特定应用场景如插值和预测，尚未充分利用扩散模型进行通用的 TSRL。我们的工作 Time Series Diffusion Embedding（TSDE）填补了这一空白，作为首个基于扩散的自监督 TSRL 方法。TSDE 通过插值-插值-预测（IIF）掩码将 TS 数据分为已观察部分和掩码部分。它应用可训练的嵌入函数，特点是具有交叉机制的双正交 Transformer 编码器，作用于已观察部分。我们训练逆向扩散过程以条件于嵌入，旨在预测掩码部分添加的噪声。广泛的实验表明，TSDE 在插值、插值、预测、异常检测、分类和聚类等任务中均表现优异。我们还进行了消融研究，呈现了嵌入可视化，比较了推理速度，进一步论证了 TSDE 在学习 TS 数据表示方面的效率和有效性。