基于大语言模型的时间序列数据上下文学习与少样本学习预测
机器学习
2025-12-09 v1 人工智能
摘要
现有用于建模和预测时间序列数据的数据驱动方法包括 ARIMA（自回归积分移动平均）、基于 Transformer 的模型、LSTM（长短期记忆网络）和 TCN（时序卷积网络）。这些方法，尤其是 LSTM 和 TCN 等基于深度学习的方法，在预测时间序列数据方面取得了显著成果。随着利用预训练基础模型（如大语言模型 LLM）的进展，特别是谷歌最近推出的时间序列数据基础模型 TimesFM（时间序列基础模型），研究这些基础模型是否在分析和预测时间序列数据方面具有超越现有建模方法的能力具有重要意义。本文研究了使用 LLM 模型进行时间序列数据预测的性能。我们探讨了针对底层应用领域训练 LLM 模型的上下文学习方法。具体而言，本文探索了通过上下文学习、零样本学习和少样本学习训练 LLM，并利用 OpenAI 的 o4-mini 和 Gemini 2.5 Flash Lite，以及谷歌最近的基于 Transformer 的 TimesFM 时间序列专用基础模型，和两种深度学习模型 TCN 和 LSTM 网络进行时间序列预测。研究结果表明，TimesFM 具有最佳的整体性能，最低 RMSE 值（0.3023）和具有竞争力的推理时间（266 秒）。此外，OpenAI 的 o4-mini 在零样本学习中也表现出良好的性能。这些发现突显了预训练时间序列基础模型作为实时预测的有前景方向，能够以最少的模型自适应实现准确且可扩展的部署。
引用
@article{arxiv.2512.07705,
title = {In-Context and Few-Shots Learning for Forecasting Time Series Data based on Large Language Models},
author = {Saroj Gopali and Bipin Chhetri and Deepika Giri and Sima Siami-Namini and Akbar Siami Namin},
journal= {arXiv preprint arXiv:2512.07705},
year = {2025}
}