TimeSiam：一种用于孪生时间序列建模的预训练框架
机器学习
2024-06-10 v2
摘要
时间序列预训练近期因其能够降低标注成本并使各种下游任务受益而受到广泛关注。先前的方法主要基于在视觉或语言领域广受认可的预训练技术，如掩码建模和对比学习。然而，随机掩码时间序列或计算序列间的相似性会扭曲或忽略时间序列数据中至关重要的内在时间相关性。为了强调时间相关性建模，本文提出了 TimeSiam，这是一个基于孪生网络的简单但有效的自监督时间序列预训练框架。具体而言，TimeSiam 预训练孪生编码器以捕获随机采样的过去子序列与当前子序列之间的内在时间相关性。通过简单的数据增强方法（例如掩码），TimeSiam 可以从多样化的增强子序列中受益，并通过从过去到当前的重建学习内部时间依赖表示。此外，还引入了可学习的谱系嵌入，以区分采样序列之间的时间距离，并进一步促进多样化时间相关性的学习。TimeSiam 始终优于大量先进的预训练基线，在域内和跨域场景下的 13 个标准基准中均展现出卓越的预测和分类能力。
引用
@article{arxiv.2402.02475,
title = {TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling},
author = {Jiaxiang Dong and Haixu Wu and Yuxuan Wang and Yunzhong Qiu and Li Zhang and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2402.02475},
year = {2024}
}