AutoTimes：基于大语言模型的自回归时间序列预测器
机器学习
2024-11-01 v4 计算与语言
摘要
由于时间序列语料库的有限可用性和可扩展预训练的探索不足，时间序列的基础模型尚未得到充分发展。基于时间序列与自然语言相似的序列化表述，越来越多的研究证明了利用大语言模型（LLM）处理时间序列的可行性。然而，LLM 固有的自回归特性和仅解码器架构尚未被充分考虑，导致 LLM 能力的利用不足。为了充分激活大语言模型的通用 token 转换和多步生成能力，我们提出 AutoTimes，将 LLM 重新用作自回归时间序列预测器，将时间序列投影到语言 token 的嵌入空间中，并自回归地生成任意长度的未来预测。该预测器兼容任何仅解码器 LLM，在回看长度上表现出灵活性，并随着 LLM 规模的增大而具备可扩展性。此外，我们将时间序列表述为提示，将预测的上下文扩展到回看窗口之外，称为上下文内预测。通过引入 LLM 嵌入的文本时间戳，AutoTimes 可以利用时间信息来对齐多变量时间序列。在经验上，与先进的基于 LLM 的预测器相比，AutoTimes 以 0.1% 的可训练参数实现了 SOTA，并实现了超过 的训练/推理加速。代码可在以下仓库获取：https://github.com/thuml/AutoTimes。
引用
@article{arxiv.2402.02370,
title = {AutoTimes: Autoregressive Time Series Forecasters via Large Language Models},
author = {Yong Liu and Guo Qin and Xiangdong Huang and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2402.02370},
year = {2024}
}