Lag-Llama：面向概率时间序列预测的基础模型
机器学习
2024-02-09 v3 人工智能
摘要
过去几年中，基础模型因其前所未有的零样本与少样本泛化能力引发了机器学习的范式转变。然而，尽管基础模型在自然语言处理和计算机视觉等模态中取得了成功，面向时间序列预测的基础模型的发展仍相对滞后。我们提出 Lag-Llama，一种基于仅解码器 transformer 架构、以滞后量作为协变量的通用单变量概率时间序列预测基础模型。Lag-Llama 在来自多个领域的大量多样化时间序列数据语料上进行了预训练，并在跨领域的下游数据集上相较于广泛的预测模型展现出强大的零样本泛化能力。此外，当在此类先前未见数据集的较小比例上微调时，Lag-Llama 取得了最先进的性能，优于先前的深度学习方法，作为平均最优的通用模型脱颖而出。Lag-Llama 是时间序列预测当前最优方法的有力竞争者，并为面向时间序列数据的基础模型未来进展铺平了道路。
引用
@article{arxiv.2310.08278,
title = {Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting},
author = {Kashif Rasul and Arjun Ashok and Andrew Robert Williams and Hena Ghonia and Rishika Bhagwatkar and Arian Khorasani and Mohammad Javad Darvishi Bayazi and George Adamopoulos and Roland Riachi and Nadhir Hassen and Marin Biloš and Sahil Garg and Anderson Schneider and Nicolas Chapados and Alexandre Drouin and Valentina Zantedeschi and Yuriy Nevmyvaka and Irina Rish},
journal= {arXiv preprint arXiv:2310.08278},
year = {2024}
}
备注
First two authors contributed equally. All data, models and code used are open-source. GitHub: https://github.com/time-series-foundation-models/lag-llama