时间序列预训练模型综述
机器学习
2024-10-07 v2 人工智能
摘要
时间序列挖掘（TSM）是一个重要的研究领域，因其在实际应用中展现出巨大潜力。依赖海量标注数据的深度学习模型已成功用于 TSM。然而，由于数据标注成本，构建大规模良好标注数据集十分困难。近来，预训练模型因在计算机视觉和自然语言处理中的卓越表现，逐渐在时间序列领域引起关注。本综述对时间序列预训练模型（TS-PTMs）进行了全面回顾，旨在指导对 TS-PTMs 的理解、应用与研究。具体而言，我们首先简要介绍 TSM 中采用的典型深度学习模型。然后，我们根据预训练技术给出 TS-PTMs 的概览。我们探讨的主要类别包括有监督、无监督和自监督 TS-PTMs。此外，我们进行了涉及 27 种方法、434 个数据集和 679 个迁移学习场景的大量实验，以分析迁移学习策略、基于 Transformer 的模型以及代表性 TS-PTMs 的优缺点。最后，我们指出了 TS-PTMs 未来工作的一些潜在方向。
引用
@article{arxiv.2305.10716,
title = {A Survey on Time-Series Pre-Trained Models},
author = {Qianli Ma and Zhen Liu and Zhenjing Zheng and Ziyang Huang and Siying Zhu and Zhongzhong Yu and James T. Kwok},
journal= {arXiv preprint arXiv:2305.10716},
year = {2024}
}
备注
Accepted in the IEEE Transactions on Knowledge and Data Engineering (TKDE)