基于动量对比学习的蒸馏增强时间序列预测网络
机器学习
2024-06-26 v2 人工智能
摘要
对比表征学习在时间序列分析中至关重要,因为它缓解了数据噪声和不完整性以及监督信号稀疏性的问题。然而,现有的对比学习框架通常只关注intralemporal特征,未能充分利用时间序列数据的复杂性。为此,我们提出DE-TSMCL,一个创新的蒸馏增强框架用于长序列时间序列预测。具体而言,我们设计了可适应学习是否屏蔽时间戳以获取优化子序列的数据增强机制。然后,我们提出一种带有动量更新的对比学习任务,以探索时间序列的inter-sample和intraltemporal相关性,在无监督时间序列上学习底层结构特征。同时,我们设计了一个监督任务来学习更稳健的表征并促进对比学习过程。最后,我们联合优化上述两个任务。通过从多个任务中开发模型损失,我们可以学习为下游预测任务学习有效的表征。广泛的实验表明,与SOTA方法相比,DE-TSMCL的有效性得到充分验证，其中最大改进可达到27.3%。
引用
@article{arxiv.2401.17802,
title = {Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning},
author = {Haozhi Gao and Qianqian Ren and Jinbao Li},
journal= {arXiv preprint arXiv:2401.17802},
year = {2024}
}