TiRex：基于增强上下文学习的长短周期零样本预测
机器学习
2025-11-04 v2
摘要
上下文学习，即大型语言模型仅使用提示中提供的示例执行任务的能力，近期已被适配于时间序列预测。这一范式实现了零样本预测，即过去的数值作为预测未来数值的上下文，使得非专家也能使用强大的预测工具，并在训练数据稀缺时提升性能。大多数现有的零样本预测方法依赖 Transformer 架构，尽管其在语言领域取得了成功，但在时间序列预测中往往表现不及预期，而 LSTM 等循环模型在此领域通常更具优势。反之，虽然 LSTM 因其状态跟踪能力非常适合时间序列建模，但它们缺乏强大的上下文学习能力。我们引入了 TiRex，通过利用 xLSTM（一种具备有竞争力的上下文学习能力的增强型 LSTM）来弥补这一差距。与 Transformer、状态空间模型或如 RWKV 等可并行化的 RNN 不同，TiRex 保留了状态跟踪能力，这是长周期预测的关键特性。为了进一步促进其状态跟踪能力，我们提出了一种名为 CPM 的训练时掩码策略。TiRex 在 HuggingFace 基准测试 GiftEval 和 Chronos-ZS 上创造了零样本时间序列预测的新 SOTA，在短期和长期预测中均显著优于包括 TabPFN-TS (Prior Labs)、Chronos Bolt (Amazon)、TimesFM (Google) 和 Moirai (Salesforce) 在内的更大模型。
引用
@article{arxiv.2505.23719,
title = {TiRex: Zero-Shot Forecasting Across Long and Short Horizons with Enhanced In-Context Learning},
author = {Andreas Auer and Patrick Podest and Daniel Klotz and Sebastian Böck and Günter Klambauer and Sepp Hochreiter},
journal= {arXiv preprint arXiv:2505.23719},
year = {2025}
}
备注
presented at NeurIPS 2025