从分词偏差到骨架能力：基于控制实验的 LLM 时间序列预测研究
机器学习
2026-03-09 v2 人工智能
摘要
将预训练的大语言模型 (LLM) 作为时间序列预测的骨架网络近期受到广泛关注。现有方法通常将时间序列分割为若干块，通过 Tokenizer 将其映射到 LLM 的词汇空间，随后通过冻结或微调的 LLM 骨架网络处理词汇，再通过 Detokenizer 重构数值预测。然而，LLM 在时间序列预测中的实际效果仍值得争议。我们注意到，当训练和评估数据集较小时，这些 Tokenizer-Detokenizer 对常会对特定数据分布过拟合，从而掩盖了 LLM 骨架网络的内在预测能力。为调查 LLM 在此情境下的潜在潜力，我们设计了三个结构相同但预训练策略不同的模型。通过大规模预训练，我们获得更无偏的 Tokenizer-Detokenizer 对，并与 LLM 骨架网络无缝集成。通过受控实验，我们评估了 LLM 的零样本和少样本预测性能，为理解其真实能力提供了洞见。我们的大量实验表明，尽管 LLM 骨架网络显示出一定的前景，但其性能仍有限，且不一致地超越专门在大规模时间序列数据上训练的模型。我们的源代码已公开于仓库：https://github.com/SiriZhang45/LLM4TS。
引用
@article{arxiv.2504.08818,
title = {From Tokenizer Bias to Backbone Capability: A Controlled Study of LLMs for Time Series Forecasting},
author = {Xinyu Zhang and Shanshan Feng and Xutao Li and Kenghong Lin and Fan Li and Pengfei Jia},
journal= {arXiv preprint arXiv:2504.08818},
year = {2026}
}