TimesURL：面向通用时间序列表示学习的自监督对比学习
机器学习
2023-12-27 v1
摘要
学习适用于各种下游任务的通用时间序列表示具有挑战性，但在实际应用中很有价值。最近，研究人员尝试利用自监督对比学习（SSCL）在计算机视觉（CV）和自然语言处理（NLP）中的成功来处理时间序列表示。然而，由于时间序列的特殊时间特性，仅依赖其他领域的经验指导可能对时间序列无效，且难以适应多种下游任务。为此，我们回顾了SSCL涉及的三个部分：1）为正样本对设计增强方法，2）构建（困难）负样本对，3）设计SSCL损失函数。对于1）和2），我们发现不合适的正负样本对构建可能引入不当的归纳偏置，既不能保持时间属性，也不能提供足够的判别特征。对于3），仅探索片段级或实例级语义信息不足以学习通用表示。为了解决上述问题，我们提出了一种名为TimesURL的新型自监督框架。具体来说，我们首先引入一种基于频率-时间的增强方法以保持时间属性不变。然后，我们构建双重Universum作为一种特殊的困难负样本，以引导更好的对比学习。此外，我们将时间重建作为对比学习的联合优化目标，以捕获片段级和实例级信息。因此，TimesURL可以学习高质量的通用表示，并在6种不同的下游任务中取得最先进性能，包括短期和长期预测、插补、分类、异常检测和迁移学习。
引用
@article{arxiv.2312.15709,
title = {TimesURL: Self-supervised Contrastive Learning for Universal Time Series Representation Learning},
author = {Jiexi Liu and Songcan Chen},
journal= {arXiv preprint arXiv:2312.15709},
year = {2023}
}
备注
Accepted by AAAI 2024