LaT-PFN：一种用于上下文时间序列预测的联合嵌入预测架构
机器学习
2024-05-24 v2 人工智能
机器学习
摘要
我们引入了LatentTimePFN (LaT-PFN)，这是一个具有强大嵌入空间的基础时间序列模型，能够实现零样本预测。为此，我们在潜在空间中利用Prior-data Fitted Networks (PFN)和Joint Embedding Predictive Architecture (JEPA)框架的新颖集成进行上下文学习。我们利用JEPA框架创建生成时间序列的底层随机过程的预测优化潜在表示，并使用PFN将其与上下文学习相结合。此外，我们通过利用相关时间序列作为上下文并引入归一化的抽象时间轴，改进了先前的工作。这减少了训练时间，并通过允许任意时间粒度和预测范围增加了模型的通用性。我们表明，与已建立的基线相比，这产生了优越的零样本预测。我们还展示了我们的潜在空间能够产生信息丰富的嵌入，包括单个时间步和整个序列的固定长度摘要。最后，我们观察到多步补丁嵌入在没有显式训练的情况下出现，表明模型主动学习编码数据中局部结构的离散标记，类似于视觉Transformer。
引用
@article{arxiv.2405.10093,
title = {LaT-PFN: A Joint Embedding Predictive Architecture for In-context Time-series Forecasting},
author = {Stijn Verdenius and Andrea Zerio and Roy L. M. Wang},
journal= {arXiv preprint arXiv:2405.10093},
year = {2024}
}
备注
9 pages plus references and appendix, 2 tables, 11 figures, added seeds, corrections