通过向量注入的上下文学习增强用于时间序列预测的大型语言模型
机器学习
2026-01-23 v3 人工智能
摘要
万维网需要可靠的预测能力来响应用户行为和使用模式的变化。时间序列预测（TSF）是实现这一目标的关键手段。近年来，用于TSF的大型语言模型（LLM4TSF）取得了良好的性能。然而，预训练语料库和时间序列数据之间存在显著差异，使得直接将LLM应用于TSF时难以保证预测质量；微调LLM可以缓解这个问题，但通常会产生大量的计算开销。因此，LLM4TSF面临着预测性能和计算开销的双重挑战。为了解决这个问题，我们旨在探索一种在冻结所有LLM参数以减少计算开销的同时提高LLM4TSF预测性能的方法。受上下文学习（ICL）的启发，我们提出了LVICL。LVICL使用我们的向量注入ICL将示例信息注入到冻结的LLM中，激发其上下文学习能力，从而增强其在示例相关任务（即TSF）上的性能。具体来说，我们首先使用LLM以及一个可学习的上下文向量适配器，从多个示例中自适应地提取一个上下文向量。该向量包含压缩的、与示例相关的信息。随后，在前向传播过程中，我们将此向量注入到LLM的每一层以提高预测性能。与将示例添加到提示中的传统ICL相比，我们的向量注入ICL不会增加提示长度；此外，从示例中自适应地推导上下文向量抑制了对预测有害的成分，从而提高了模型性能。大量实验证明了我们方法的有效性。
引用
@article{arxiv.2601.07903,
title = {Enhancing Large Language Models for Time-Series Forecasting via Vector-Injected In-Context Learning},
author = {Jianqi Zhang and Jingyao Wang and Wenwen Qiang and Fanjiang Xu and Changwen Zheng},
journal= {arXiv preprint arXiv:2601.07903},
year = {2026}
}