基于语言模型的跨领域预训练以获取可迁移时间序列表示
机器学习
2024-11-06 v3
摘要
自监督预训练（SSL）的进展极大推动了可迁移时间序列表示的学习，这对增强下游任务非常有用。尽管有效，大多数现有工作难以实现跨领域 SSL 预训练，错失了整合不同领域模式与特征的宝贵机会。主要挑战在于不同领域时间序列数据特性差异显著，如通道数和时间分辨率尺度的变化。为应对此挑战，我们提出 CrossTimeNet，一种新颖的跨领域 SSL 学习框架，旨在从多个领域学习可迁移知识，以极大惠及目标下游任务。CrossTimeNet 的关键特性之一是新设计的时间序列令牌化模块，它能基于重建优化过程将原始时间序列有效转换为离散令牌序列。此外，我们强调在 SSL 预训练期间预测高比例的损坏令牌对于跨领域提取信息性模式非常有帮助，这一点在过去几年中被极大忽视。再者，与以往工作不同，本工作将预训练语言模型（PLM）作为编码器网络的初始化，探究将 PLM 学到的知识迁移至时间序列领域的可行性。通过这些努力，可有效铺平通向通用时间序列模型跨领域预训练的道路。我们在真实场景下跨多个时间序列分类领域进行大量实验。实验结果明确证实了 CrossTimeNet 的优越性能。
引用
@article{arxiv.2403.12372,
title = {Cross-Domain Pre-training with Language Models for Transferable Time Series Representations},
author = {Mingyue Cheng and Xiaoyu Tao and Qi Liu and Hao Zhang and Yiheng Chen and Defu Lian},
journal= {arXiv preprint arXiv:2403.12372},
year = {2024}
}