中文

基础模型何时见效?预训练时间序列预测器的盈亏分析

机器学习 2026-07-06 v1

摘要

部署时间序列基础模型需要GPU基础设施、工程开销,并且不能保证优于XGBoost。我们提供了第一个系统性的盈亏分析,回答何时这项投资会回报。在30个基准数据集上,我们比较了零样本和LoRA微调的基础模型(Chronos、Moirai、Lag-Llama)与经典基线(Naive、ETS、ARIMA、XGBoost)在6个训练集大小从可用数据的2%到100%之间。基础模型在评估的每个训练分数上超过经典方法在30个数据集中的15个上无条件地证明了GPU部署。6个数据集上,经典方法在仅有2%训练数据(21-2,768个样本)的情况下超过零样本基础模型;剩余9个数据集的盈亏范围从24到8,361个样本。一个稳健的部署规则要求不进行模型训练:如果n_train < 700且季节性非显著,则使用FM零样本并跳过微调——这立即解决了30个部署决策中的10个。 contrary to common practice, LoRA fine-tuning can actively degrade performance on short series。我们将这些发现作为两步决策框架来实现——计算数据集长度和季节性强度,如果需要则运行简短的5-10%试点——使实践者在承诺全面基础设施之前做出FM与经典方法的决策。四个数据集特征为剩余情况提出了机制假设,尽管在基准规模上可靠的自动化预测仍是一个开放问题。代码、基准和决策工具可在 https://github.com/nicolaisi/fm-breakeven 获得。

关键词

引用

@article{arxiv.2607.04919,
  title  = {When Do Foundation Models Pay Off? A Break-Even Analysis of Pretrained Time Series Forecasters},
  author = {Nicholas Tan Jerome and Frank Simon},
  journal= {arXiv preprint arXiv:2607.04919},
  year   = {2026}
}