HiMTM：面向长期预测的带自蒸馏的分层多尺度掩码时间序列建模
机器学习
2024-08-02 v2
摘要
时间序列预测是实际应用中一项关键且具有挑战性的任务。近期，用于时间序列预测的预训练基础模型取得了显著进展，引起了广泛关注。然而，当前方法常常忽略时间序列的多尺度特性，而这对准确预测至关重要。为解决此问题，我们提出了 HiMTM，一种面向长期预测的带自蒸馏的分层多尺度掩码时间序列建模方法。HiMTM 集成了四个关键组件：(1) 分层多尺度 Transformer (HMT)，用于捕获不同尺度的时间信息；(2) 解耦编码器-解码器 (DED)，引导编码器专注于特征提取，而解码器专注于前置任务；(3) 分层自蒸馏 (HSD)，在预训练期间提供多阶段特征级监督信号；(4) 跨尺度注意力微调 (CSA-FT)，用于捕获下游任务中不同尺度之间的依赖关系。这些组件共同增强了掩码时间序列建模中的多尺度特征提取，提高了预测精度。在七个主流数据集上的大量实验表明，HiMTM 以 3.16-68.54% 的显著优势超越了最先进的自监督和端到端学习方法。此外，HiMTM 在跨领域预测中以 2.3% 的显著优势优于最新的鲁棒自监督学习方法 PatchTST。HiMTM 在天然气需求预测中的应用进一步证明了其有效性。
引用
@article{arxiv.2401.05012,
title = {HiMTM: Hierarchical Multi-Scale Masked Time Series Modeling with Self-Distillation for Long-Term Forecasting},
author = {Shubao Zhao and Ming Jin and Zhaoxiang Hou and Chengyi Yang and Zengxiang Li and Qingsong Wen and Yi Wang},
journal= {arXiv preprint arXiv:2401.05012},
year = {2024}
}
备注
accepted by CIKM 2024