通过多层可调嵌入融合将时间序列集成到LLM以实现增强预测
人工智能
2025-08-25 v1 计算与语言
机器学习
摘要
时间序列（TS）数据在 various application areas 中无处不在，使得时间序列预测（TSF）成为基础任务。随着大型语言模型（LLMs）的惊人进步，开发了各种方法来适配LLMs进行时间序列预测。尽管释放了LLMs理解TS数据潜力，但现有方法受限于其对TS信息的浅层集成，LLMs通常仅在输入层访问TS表示。这导致TS表示在深层逐渐消失，最终导致文本嵌入与TS表示之间的适应失效。本文提出了多层可调嵌入融合（MSEF），一种新框架，使LLMs能够直接访问所有深度的时间序列模式，从而缓解深层TS信息的逐渐损失。具体而言，MSEF利用即插即用的时间序列基础模型提取语义丰富的嵌入表示，通过层特定调控向量将其与LLM中间文本表示融合。这些调控向量设计用于持续优化时间序列与文本模态之间的对齐，并促进层特定适应机制，确保高效的few-shot学习能力。在七个基准测试中，MSEF相对于基线方法实现了显著的性能提升，平均降低31.8%的MSE。代码已公开于 https://github.com/One1sAll/MSEF。
关键词
引用
@article{arxiv.2508.16059,
title = {Integrating Time Series into LLMs via Multi-layer Steerable Embedding Fusion for Enhanced Forecasting},
author = {Zhuomin Chen and Dan Li and Jiahui Zhou and Shunyu Wu and Haozheng Ye and Jian Lou and See-Kiong Ng},
journal= {arXiv preprint arXiv:2508.16059},
year = {2025}
}
备注
To be published in CIKM 2025