LeMoLE：基于大语言模型的线性专家混合模型用于时间序列预测
机器学习
2024-12-03 v1 人工智能
计算与语言
摘要
近期研究表明，大语言模型（LLM）可被有效用于实际时间序列预测，due to其强大的自然语言理解能力。然而，将时间序列对齐到LLM的语义空间会带来高计算成本和推理复杂度，尤其是对于长范围时间序列生成。基于近期使用线性模型进行时间序列预测的进展，本文引入了一种LLM增强的线性专家混合模型，用于精确且高效的时间序列预测。该方法涉及开发多个回溯长度的线性专家混合模型，以及一种新的多模态融合机制。线性专家混合模型之所以高效，主要是因为其简单性，而多模态融合机制则根据来自预训练大语言模型中学习的文本模态特征，自适应地组合多个线性专家。实验中，我们重新思考了将时间序列对齐到LLM的必要性，并进一步讨论了其在时间序列预测中的效率和效果。我们的实验结果表明，提出的LeMoLE模型在预测误差和计算效率方面均优于现有的LLM模型。
引用
@article{arxiv.2412.00053,
title = {LeMoLE: LLM-Enhanced Mixture of Linear Experts for Time Series Forecasting},
author = {Lingzheng Zhang and Lifeng Shen and Yimin Zheng and Shiyuan Piao and Ziyue Li and Fugee Tsung},
journal= {arXiv preprint arXiv:2412.00053},
year = {2024}
}