时间序列基础模型无标签预训练数据质量的度量
机器学习
2024-12-10 v1 人工智能
机器学习
摘要
近年来，能够跨不同下游任务泛化的时间序列基础模型受到了越来越多的关注。强基础模型的关键在于多样化的预训练数据集，而时间序列分类的数据集收集尤为困难。在本文中，我们探索了基于对比学习的基础模型在预训练数据上的性能表现。我们提出了对比准确率（contrastive accuracy），一种用于评估基础模型所学表示空间质量的新度量。我们的实验揭示了所提出的度量与模型在一系列下游任务上的准确率之间的正相关关系。这表明对比准确率可以作为搜索能够增强预训练并因此提升基础模型泛化能力的时间序列数据集的准则。
引用
@article{arxiv.2412.06368,
title = {Measuring Pre-training Data Quality without Labels for Time Series Foundation Models},
author = {Songkang Wen and Vasilii Feofanov and Jianfeng Zhang},
journal= {arXiv preprint arXiv:2412.06368},
year = {2024}
}