通过预文本任务为时间序列分类寻找基础模型
机器学习
2024-02-29 v2
摘要
过去十年间，时间序列分类（TSC）受到越来越多的关注。尽管探索了多种方法，深度学习——尤其是通过卷积神经网络（CNNs）——是一种有效途径。然而，由于训练数据有限，定义一个能克服过拟合问题的TSC基础模型仍具挑战。UCR档案涵盖从动作识别到基于ECG的心脏病检测的广泛数据集，可作为在多样TSC场景中探究此问题的典型示例。本文中，我们通过引入预训练的领域基础模型应对过拟合挑战。我们方法的一个关键方面是跨多个数据集的新型预文本任务。该任务旨在识别每个时间序列样本的来源数据集，以创建可跨不同数据集应用的灵活卷积滤波器。研究过程包括两个阶段：预训练阶段，模型通过预文本任务获取通用特征；随后的微调阶段，针对特定数据集分类。我们在UCR档案上的大量实验表明，该预训练策略显著优于无预训练的传统训练方法。该策略有效减少小数据集中的过拟合，并为将这些模型适配新数据集提供高效路径，从而推进深度学习在TSC中的能力。
引用
@article{arxiv.2311.14534,
title = {Finding Foundation Models for Time Series Classification with a PreText Task},
author = {Ali Ismail-Fawaz and Maxime Devanne and Stefano Berretti and Jonathan Weber and Germain Forestier},
journal= {arXiv preprint arXiv:2311.14534},
year = {2024}
}