通用时间序列预测 Transformer 的统一训练
机器学习
2024-05-24 v2 人工智能
摘要
用于时间序列预测的深度学习传统上在“每个数据集一个模型”的框架内运行，限制了其利用大型预训练模型带来的变革性影响的潜力。通用预测的概念源于在大量时间序列数据集上的预训练，设想了一个能够解决各种下游预测任务的单一大型时间序列模型。然而，构建此类模型面临着时间序列数据特有的独特挑战：i) 跨频率学习，ii) 适应多元时间序列中任意数量的变量，以及 iii) 解决大规模数据固有的分布属性变化问题。为应对这些挑战，我们对传统的时间序列 Transformer 架构进行了新颖的增强，提出了基于掩码编码器的通用时间序列预测 Transformer（Moirai）。Moirai 在我们新引入的大规模开放时间序列档案（LOTSA）上进行训练，该档案包含九个领域超过 270 亿个观测值。与全样本模型相比，Moirai 作为零样本预测器实现了具有竞争力或更优的性能。代码、数据和模型权重可在 https://github.com/SalesforceAIResearch/uni2ts 找到。
引用
@article{arxiv.2402.02592,
title = {Unified Training of Universal Time Series Forecasting Transformers},
author = {Gerald Woo and Chenghao Liu and Akshat Kumar and Caiming Xiong and Silvio Savarese and Doyen Sahoo},
journal= {arXiv preprint arXiv:2402.02592},
year = {2024}
}