Taylorformer：面向含时间序列的随机过程的概率建模

Omer Nivron; Raghul Parthipan; Damon J. Wischik

Taylorformer：面向含时间序列的随机过程的概率建模

机器学习 2024-09-24 v2

作者: Omer Nivron , Raghul Parthipan , Damon J. Wischik

摘要

我们针对随机过程（如时间序列）提出了Taylorformer。其两个关键组件为：1) LocalTaylor封装器，它将Taylor近似（用于动力系统）改造用于基于神经网络的概率模型；2) MHA-X注意力块，其预测方式受高斯过程均值预测作为上下文数据的线性平滑这一性质启发。Taylorformer在6个经典Neural Process任务（如元学习一维函数）中的5个上以对数似然优于当前最优方法，并在包括电力、油温和汇率在内的预测任务上取得至少14%的MSE提升。Taylorformer近似一个一致的随机过程并提供具有不确定性感知的预测。我们的代码在补充材料中提供。

关键词

概率建模随机过程时间序列预测 Taylor近似 Neural Process 注意力机制不确定性感知预测

引用

@article{arxiv.2305.19141,
  title  = {Taylorformer: Probabilistic Modelling for Random Processes including Time Series},
  author = {Omer Nivron and Raghul Parthipan and Damon J. Wischik},
  journal= {arXiv preprint arXiv:2305.19141},
  year   = {2024}
}

备注

Presented at ICML 2023, New Frontiers in Learning, Control, and Dynamical Systems Workshop

Taylorformer：面向含时间序列的随机过程的概率建模

摘要

关键词

引用

备注

相关论文