面向时间序列数据的基石模型
机器学习
2023-10-09 v1 人工智能
摘要
基石模型（foundation model）是一种在大量且多样的数据集上训练的机器学习模型，通常采用基于自监督学习的预训练技术，可适配于各种下游任务。然而，当前关于时间序列预训练的研究大多集中于仅在单一领域数据上预训练的模型，导致缺乏对其他类型时间序列的认知。不过，当前时间序列预训练的研究主要集中于仅在单一领域数据上训练的模型。因此，这些模型具备的领域特定知识可能不易迁移到来自其他领域的时间序列。在本文中，我们旨在通过利用来自多个领域的未标记样本来开发有效的时间序列基石模型。为此，我们重新利用了公开可用的UCR Archive，并在这些数据集上评估了四种现有的基于自监督学习的预训练方法以及一种新方法。我们使用四种流行的时间序列神经网络架构测试了这些方法，以理解预训练方法如何与不同网络设计相互作用。我们的实验结果表明，预训练通过增强微调过程的收敛性来改善下游分类任务。此外，我们发现所提出的预训练方法与Transformer模型结合时优于其他替代方案。
引用
@article{arxiv.2310.03916,
title = {Toward a Foundation Model for Time Series Data},
author = {Chin-Chia Michael Yeh and Xin Dai and Huiyuan Chen and Yan Zheng and Yujie Fan and Audrey Der and Vivian Lai and Zhongfang Zhuang and Junpeng Wang and Liang Wang and Wei Zhang},
journal= {arXiv preprint arXiv:2310.03916},
year = {2023}
}