上下文对齐：激活并增强大语言模型在时间序列中的能力

近年来，利用预训练大语言模型（LLM）处理时间序列（TS）任务日益受到关注，这涉及激活和增强LLM的能力。许多方法旨在基于token级对齐来激活LLM的能力，但忽略了LLM在自然语言处理中的固有优势——它们对语言逻辑和结构的深层理解，而非浅层嵌入处理。我们提出上下文对齐（CA），一种新范式，将时间序列与LLM熟悉的语言环境中的语言成分对齐，使LLM能够语境化并理解时间序列数据，从而激活其能力。具体而言，这种上下文级对齐包括结构对齐和逻辑对齐，通过应用于时间序列-语言多模态输入的双尺度上下文对齐图神经网络（DSCA-GNN）实现。结构对齐利用双尺度节点描述时间序列-语言中的层次结构，使LLM能够将长时间序列数据视为一个整体语言成分，同时保留内在的token特征。逻辑对齐使用有向边引导逻辑关系，确保上下文语义的连贯性。基于DSCA-GNN框架，我们提出CA的一种实例化方法，称为少样本提示上下文对齐（FSCA），以增强预训练LLM处理时间序列任务的能力。FSCA可以灵活且重复地集成到预训练LLM的各个层中，以提高对逻辑和结构的感知，从而提升性能。大量实验证明了FSCA的有效性以及上下文对齐在各种任务中的重要性，特别是在少样本和零样本预测中，证实了上下文对齐提供了强大的上下文先验知识。代码已在https://github.com/tokaka22/ICLR25-FSCA开源。