TempoPFN：基于线性RNN的零样时序预测合成预训练
机器学习
2026-02-06 v4 人工智能
机器学习
摘要
面向零样时序预测的基础模型在高效长期预测和可重复性方面面临挑战，现有仅基于合成的做法在具有挑战性的基准测试上表现不佳。本文提出TempoPFN，一个基于线性循环神经网络(RNN)的单变量时序预测基础模型，仅在合成数据上进行预训练。该模型采用GatedDeltaProduct架构，配合状态编织(state-weaving)，实现跨序列长度的全并行训练，无需窗口或汇总技术，同时保持稳健的时序状态跟踪。我们的综合性合成数据管道统一了包括随机微分方程、高斯过程和音频合成等多样化生成器，并引入新颖的数据增强。 在Gift-Eval、fev-bench和Chronos-ZS基准的零样评估中，TempoPFN实现了顶级竞争性能，超越了所有现有的仅基于合成的做法，超过了大多数在真实世界数据上训练的模型，同时通过利用全并行训练和推理显著提高了效率。我们开源了完整的数据生成管道和训练代码，为未来研究提供可复现的基础。
引用
@article{arxiv.2510.25502,
title = {TempoPFN: Synthetic Pre-training of Linear RNNs for Zero-shot Time Series Forecasting},
author = {Vladyslav Moroshan and Julien Siems and Arber Zela and Timur Carstensen and Frank Hutter},
journal= {arXiv preprint arXiv:2510.25502},
year = {2026}
}
备注
38 pages, 22 figures, 17 tables