TimeMAE：基于解耦掩码自编码器的时序自监督表示学习
机器学习
2026-03-02 v4
摘要
从无标签时间序列中学习可迁移表示对于提升数据稀缺分类任务的性能至关重要。现有的自监督方法通常在点级别操作并依赖单向编码，导致语义密度低且预训练与下游优化之间存在不匹配。本文中，我们提出 TimeMAE，一种通过语义单元提升与解耦表示学习重新定义时间序列掩码建模的自监督框架。TimeMAE 将时间序列分割为不重叠的子序列以形成语义丰富的单元，而非对单个时间步建模，从而实现信息量更丰富的掩码重建并降低计算成本。为解决由掩码引入的表示差异，我们设计了解耦掩码自编码器，分别编码可见区域与掩码区域，避免在主编码器中人为引入掩码 token。为引导预训练，我们引入两个互补目标：掩码码词分类，通过学习的 tokenizer 离散化子序列语义；以及掩码表示回归，通过动量更新的目标编码器对齐连续表示。在五个数据集上的大量实验表明，TimeMAE 优于具有竞争力的基线，尤其在标签稀缺场景和迁移学习场景中。
引用
@article{arxiv.2303.00320,
title = {TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders},
author = {Mingyue Cheng and Xiaoyu Tao and Zhiding Liu and Qi Liu and Hao Zhang and Rujiao Zhang and Enhong Chen},
journal= {arXiv preprint arXiv:2303.00320},
year = {2026}
}
备注
Accepted by WSDM'26