MOMENT：一个开源时间序列基础模型家族
机器学习
2024-10-11 v3 人工智能
摘要
我们介绍MOMENT，一个用于通用时间序列分析的开源基础模型家族。在时间序列数据上预训练大型模型具有挑战性，原因在于：(1)缺乏大型且连贯的公共时间序列存储库，(2)多样化的时间序列特征使得多数据集训练困难。此外，(3)评估这些模型的实验基准，特别是在资源、时间和监督有限的情况下，仍处于初级阶段。为应对这些挑战，我们编译了一个大型且多样化的公共时间序列集合，称为Time series Pile，并系统地解决了时间序列特定的挑战，以实现大规模多数据集预训练。最后，我们基于最近的工作设计了一个基准，用于在有限监督设置下评估时间序列基础模型在不同任务和数据集上的表现。在该基准上的实验证明了我们的预训练模型在最小数据和任务特定微调下的有效性。最后，我们提出了关于大型预训练时间序列模型的几个有趣的实证观察。预训练模型（AutonLab/MOMENT-1-large）和Time Series Pile（AutonLab/Timeseries-PILE）可在Huggingface上获取。
引用
@article{arxiv.2402.03885,
title = {MOMENT: A Family of Open Time-series Foundation Models},
author = {Mononito Goswami and Konrad Szafer and Arjun Choudhry and Yifu Cai and Shuo Li and Artur Dubrawski},
journal= {arXiv preprint arXiv:2402.03885},
year = {2024}
}
备注
Accepted at ICML'24. This is a revision. See changelog in the Appendix