面向指令条件化时序任务的基础模型
机器学习
2026-05-15 v3
摘要
通过对演示而非更新模型参数来实现推理时的任务适应称为“情境学习”(in-context learning, ICL)。虽然最近的时序基础模型包含情境条件化、检索或基于示例的提示,但通常依赖隐式位置结构或特定任务目标,而非显式的指令条件化输入输出演示。我们引入 iAmTime,一个通过指令条件化 amortization 元学习训练的时序基础模型,直接从示例演示推断任务。iAmTime 将每个 episode 作为结构化提示(包含历史背景和未来已知变量),使用专用语义 token 进行时序区域注意,跨演示交换信息,并将任务信息注入查询表示。该模型由分层多范围 Transformer 编码器组成,后者捕捉时序和协变量动态,同时从 demonstrated 输入输出映射中推断潜在任务结构;以及任务条件化 patch 解码器,通过专家路由进行解码适配。我们在大规模真实和合成语料库上进行训练,采用监督和自监督指令条件化任务,包括预测、插值、重建、分类、异常检测和源分混。跨越多样化的领域、频率和时间范围,iAmTime 在概率和点预测基准测试中显著优于强大的时序基础模型,零样本适应性能提升;在分类等非预测任务上实现竞争性能。
引用
@article{arxiv.2603.22586,
title = {A Foundation Model for Instruction-Conditioned In-Context Time Series Tasks},
author = {Anish Saha and Konstantin Shmakov},
journal= {arXiv preprint arXiv:2603.22586},
year = {2026}
}