考察预训练对时间序列分类的影响
机器学习
2023-09-12 v1
摘要
尽管预训练后微调范式在许多领域被广泛使用，关于预训练对微调过程的影响仍存在争议。目前基于文本与图像数据的实验发现缺乏共识。为深入探究无监督预训练后微调范式，我们将先前研究扩展至新模态：时间序列。本研究中，我们对源自单变量时间序列 (UTS) 与多变量时间序列 (MTS) 基准的 150 个分类数据集进行了详尽考察。我们的分析揭示了若干关键结论。(i) 预训练仅能帮助改善对数据拟合较差模型的优化过程，而非那些拟合良好的模型。(ii) 在给定充足训练时间时，预训练未表现出正则化效应。(iii) 仅当模型具备充分拟合数据的能力时，预训练才能加速收敛。(iv) 增加更多预训练数据并不能改善泛化，但能强化预训练在原始数据量上的优势，例如更快收敛。(v) 尽管预训练任务与模型结构共同决定该范式在给定数据集上的有效性，模型结构起着更显著的作用。
引用
@article{arxiv.2309.05256,
title = {Examining the Effect of Pre-training on Time Series Classification},
author = {Jiashu Pu and Shiwei Zhao and Ling Cheng and Yongzhu Chang and Runze Wu and Tangjie Lv and Rongsheng Zhang},
journal= {arXiv preprint arXiv:2309.05256},
year = {2023}
}