MSDformer：面向时间序列生成的多尺度离散 Transformer
机器学习
2026-04-07 v3
摘要
离散标记建模（DTM）采用向量量化技术，在建模非自然语言模态（尤其是时间序列生成）方面展现了显著成效。虽然我们之前的工作 SDformer 已建立首个 DTM 基框架，实现该领域的最新性能，但现有 DTM 方法仍存在两个关键局限：1）无法捕捉复杂时间序列数据固有的多尺度时序模式；2）缺乏为模型优化提供的理论依据。为此，本文提出一种新颖的多尺度 DTM 基于时间序列生成方法，称为多尺度离散 Transformer（MSDformer）。MSDformer 采用多尺度时间序列标记化器，在多个尺度上学习离散标记表示，这些表示共同刻画时间序列数据的复杂性。随后，MSDformer 应用多尺度自回归标记建模技术，在离散潜在空间中捕捉时间序列的多尺度模式。理论上，我们通过率失真定理验证了 DTM 方法的有效性以及 MSDformer 设计的合理性。广泛实验表明，MSDformer 显著优于现有 SOTA 方法。理论分析和实验结果均表明，纳入多尺度信息和建模多尺度模式可显著提升 DTM 方法生成时间序列的质量。代码已在本仓库 https://github.com/kkking-kk/MSDformer 提供。
引用
@article{arxiv.2505.14202,
title = {MSDformer: Multi-scale Discrete Transformer For Time Series Generation},
author = {Shibo Feng and Zhicheng Chen and Xi Xiao and Zhong Zhang and Qing Li and Xingyu Gao and Peilin Zhao},
journal= {arXiv preprint arXiv:2505.14202},
year = {2026}
}