SEMPO：轻量级时间序列预测基础模型
机器学习
2025-10-23 v1
摘要
近期大规模预训练模型的快速发展在为时间序列预测开发基础模型方面取得了显著成功。尽管在各种下游预测任务上表现出色,现有时间序列基础模型拥有庞大的网络结构,且需要在大规模数据集上进行大量预训练,这显著阻碍了其在资源受限环境中的部署。针对这种功能性与可负担性之间的矛盾,我们提出了 SEMPO,一种新型轻量级基础模型,它只需在相对较小规模的数据上进行预训练,却展现出强大的通用时间序列预测能力。具体而言,SEMPO 包含两个关键模块:1) 能量感知的谱分解模块,通过建模不仅关注高能频率信号,还关注被当前方法忽略的低能但信息丰富的频率信号,大幅提升了预训练数据的利用率;2) 支持混合专家的 Transformer,通过小规模数据特定提示学习异构时序模式,并自适应地将时间序列 token 分配给基于提示的专家,实现跨不同数据集和领域的参数高效模型适应。凭借这些模块,SEMPO 显著降低了预训练数据规模和模型规模,同时实现了强大的泛化。在覆盖 16 个数据集的两个大规模基准实验中,SEMPO 在零样本和少样本预测场景中均优于最新方法,显示出卓越的性能。代码和数据已公开于 https://github.com/mala-lab/SEMPO。
引用
@article{arxiv.2510.19710,
title = {SEMPO: Lightweight Foundation Models for Time Series Forecasting},
author = {Hui He and Kun Yi and Yuanchi Ma and Qi Zhang and Zhendong Niu and Guansong Pang},
journal= {arXiv preprint arXiv:2510.19710},
year = {2025}
}
备注
Accepted by NeurIPS 2025