$\textbf{S}^2$IP-LLM：面向时间序列预测的基于 LLM 的语义空间感知提示学习
机器学习
2024-07-09 v2
摘要
近年来，利用预训练大型语言模型（LLM）处理各种时间序列应用引起了越来越广泛的兴趣。然而，通过预训练建立的 LLM 语义空间仍未被充分探索，它可能有助于产生更具区分度和信息量的表示，从而促进时间序列预测。为此，我们提出了基于 LLM 的语义空间感知提示学习（IP-LLM），将预训练的语义空间与时间序列嵌入空间对齐，并基于从联合空间中学习到的提示执行时间序列预测。我们首先设计了一个专为跨模态对齐定制的分词模块，该模块显式拼接分解后的时间序列分量的补丁，以创建能有效编码时间动态的嵌入。接下来，我们利用预训练的词 token 嵌入导出语义锚点，并通过最大化联合空间中的余弦相似度将选定的锚点与时间序列嵌入对齐。通过这种方式，IP-LLM 能够检索相关的语义锚点作为提示，为展现不同时间动态的时间序列提供强有力的指示（上下文）。通过对多个基准数据集的全面实证研究，我们证明所提出的 IP-LLM 能够取得优于最先进基线的预测性能。此外，我们的消融研究和可视化验证了语义空间感知的提示学习的必要性。
引用
@article{arxiv.2403.05798,
title = {$\textbf{S}^2$IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting},
author = {Zijie Pan and Yushan Jiang and Sahil Garg and Anderson Schneider and Yuriy Nevmyvaka and Dongjin Song},
journal= {arXiv preprint arXiv:2403.05798},
year = {2024}
}