只有曲线形状重要：通过下一个曲线形状预测训练零样本多变量时间序列预测的基础模型
机器学习
2024-02-20 v2 人工智能
摘要
我们提出了通用时间Transformer（GTT），一种仅编码器风格的基础模型，用于零样本多变量时间序列预测。GTT在一个包含2亿个高质量时间序列样本的大型数据集上进行了预训练，这些样本涵盖多个领域。在我们提出的框架中，多变量时间序列预测任务被表述为逐通道的下一个曲线形状预测问题，其中每个时间序列样本被表示为具有统一数值量级的非重叠曲线形状序列。GTT被训练为以逐通道方式基于过去曲线形状的窗口预测下一个曲线形状。实验结果表明，GTT在未见过的数据集上展现出卓越的零样本多变量预测能力，甚至超越了最先进的监督基线。此外，我们研究了不同GTT模型参数和训练数据集规模的影响，观察到缩放定律在零样本多变量时间序列预测的背景下也成立。
引用
@article{arxiv.2402.07570,
title = {Only the Curve Shape Matters: Training Foundation Models for Zero-Shot Multivariate Time Series Forecasting through Next Curve Shape Prediction},
author = {Cheng Feng and Long Huang and Denis Krompass},
journal= {arXiv preprint arXiv:2402.07570},
year = {2024}
}