基于 LLM 的上下文感知概率多模态时间序列预测
机器学习
2025-07-30 v2 人工智能
摘要
时间序列预测对于能源市场、气候分析和交通管理等应用至关重要。然而，现有方法难以有效地整合外生文本并将其与大语言模型（LLM）的概率性质相结合。当前方法要么通过基本提示实现浅层文本-时间序列融合，要么依赖与 LLM 标记生成范式冲突的确定性数值解码，这限制了上下文感知和分布建模。为解决这些限制，我们提出了 CAPTime—a种基于文本感知抽象和自回归 LLM 解码的上下文感知概率多模态时间序列预测方法。我们的方法首先使用预训练的时间序列编码器编码时间模式，然后通过可学习的交互将其与文本上下文对齐以产生联合多模态表示。通过将分布专家与冻结的 LLM 结合，我们实现了在保持 LLM 本身分布建模能力的同时进行上下文感知概率预测。 diverse time series forecasting 任务的实验表明，CAPTime 在准确性和泛化能力方面表现优异，尤其在多模态场景中。额外分析还强调了其在数据稀缺场景下的鲁棒性，通过混合概率解码实现。
引用
@article{arxiv.2505.10774,
title = {Context-Aware Probabilistic Modeling with LLM for Multimodal Time Series Forecasting},
author = {Yueyang Yao and Jiajun Li and Xingyuan Dai and MengMeng Zhang and Xiaoyan Gong and Fei-Yue Wang and Yisheng Lv},
journal= {arXiv preprint arXiv:2505.10774},
year = {2025}
}
备注
13 pages, 2 figures