时间序列预测中何种对比学习是良好的？
机器学习
2023-08-15 v2
摘要
近年来，自监督对比学习（SSCL）的引入在包括自然语言处理和计算机视觉在内的多个领域的表示学习中展现出显著改进。通过利用自监督的固有优势，SSCL 能够使用大量无标签数据预训练表示模型。尽管取得了这些进展，对于不同 SSCL 策略对时间序列预测性能的影响以及 SSCL 可带来的具体益处，仍存在显著的理解空白。本文旨在通过全面分析各种训练变量的有效性来填补这些空白，包括不同的 SSCL 算法、学习策略、模型架构及其相互作用。此外，为更深入洞察 SSCL 在时间序列预测中带来的改进，对经验感受野进行了定性分析。通过实验，我们证明使用均方误差（MSE）损失和 SSCL 端到端训练 Transformer 模型是时间序列预测中最有效的方法。值得注意的是，对比目标的引入使模型能够优先处理对预测更相关的信息，例如尺度和周期关系。这些发现有助于更好地理解 SSCL 在时间序列预测中的益处，并为该领域的未来研究提供有价值的见解。我们的代码可在 https://github.com/chiyuzhang94/contrastive_learning_time-series_e2e 获取。
引用
@article{arxiv.2306.12086,
title = {What Constitutes Good Contrastive Learning in Time-Series Forecasting?},
author = {Chiyu Zhang and Qi Yan and Lili Meng and Tristan Sylvain},
journal= {arXiv preprint arXiv:2306.12086},
year = {2023}
}
备注
Accepted at IJCAI'22 Workshop-AI4TS: AI for Time Series Analysis