Baguan-TS: 面向含协变量时间序列预测的序列原生上下文学习模型
机器学习
2026-03-19 v1 人工智能
摘要
Transformer 使时间序列预测中的上下文学习（ICL）成为可能，实现快速、无梯度的适应，但大多数 ICL 风格的方法依赖于表格化的、手工设计的特征，而端到端序列模型缺乏推理时的适应能力。我们通过一个统一框架 Baguan-TS 弥合了这一差距，该框架将原始序列表示学习与 ICL 集成，由一个在时间、变量和上下文轴上联合注意的 3D Transformer 实现。为了使这个高容量模型实用，我们解决了两个关键障碍：（i）通过基于特征无关的、目标空间检索的局部校准来改善校准和训练稳定性；（ii）通过上下文过拟合策略缓解输出过度平滑。在含协变量的公开基准上，Baguan-TS 一致优于已建立的基线，实现了最高的胜率以及点和概率预测指标的显著降低。进一步的多样化真实能源数据集评估证明了其鲁棒性，产生了显著的改进。
引用
@article{arxiv.2603.17439,
title = {Baguan-TS: A Sequence-Native In-Context Learning Model for Time Series Forecasting with Covariates},
author = {Linxiao Yang and Xue Jiang and Gezheng Xu and Tian Zhou and Min Yang and ZhaoYang Zhu and Linyuan Geng and Zhipeng Zeng and Qiming Chen and Xinyue Gu and Rong Jin and Liang Sun},
journal= {arXiv preprint arXiv:2603.17439},
year = {2026}
}