Timer-S1：面向万亿级时间序列的基础模型 with 串行规模
人工智能
2026-04-10 v3
摘要
我们介绍 Timer-S1，这是一个强大的混合专家（Mixture-of-Experts, MoE）时间序列基础模型，总参数数为 83 亿，每个 token 激活参数为 7.5 亿，上下文长度为 1.15 万。为克服现有预训练时间序列基础模型中的可扩展性瓶颈，我们在三个维度上进行串行规模化：模型架构、数据集和训练流程。Timer-S1 集成稀疏 TimeMoE 块和通用 TimeSTP 块，用于串行 Token 预测（Serial-Token Prediction, STP），这是一种遵循预测串行性质的通用训练目标。该方法论导引引入了串行计算，以提高长期预测效果，同时避免了标准下一 token 预测中常见的滚动式推理和显著误差累积。为追求高质量且无偏的训练数据集，我们构建了 TimeBench 语料库，包含一万亿个时间点，并对其进行严密的数据增强以缓解预测偏差。我们进一步首次提出了后训练阶段，包括继续预训练和长上下文扩展，以提升短期和长上下文性能。在大规模 GIFT-Eval 评估榜单上评估的 Timer-S1 取得了最前沿的预测性能，作为预训练模型实现了最佳的 MASE 和 CRPS 分数。Timer-S1 将发布以促进进一步的研究。
引用
@article{arxiv.2603.04791,
title = {Timer-S1: A Billion-Scale Time Series Foundation Model with Serial Scaling},
author = {Yong Liu and Xingjian Su and Shiyu Wang and Haoran Zhang and Haixuan Liu and Yuxuan Wang and Zhou Ye and Yang Xiang and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2603.04791},
year = {2026}
}