小而强大：利用轻量级LLM增强时间序列预测
计算与语言
2025-03-11 v2 人工智能
摘要
虽然LLM在时间序列预测中展示了显著潜力，但其实际部署仍受到过高计算需求和内存占用的制约。现有的基于LLM的方法通常存在三个关键局限：处理数值时间序列模式时参数利用效率低下；连续时间信号与离散文本嵌入之间的模态不对齐；以及实时专家知识集成的不灵活性。我们提出了SMETimes，这是对参数少于3B的子参数量SLM进行高效准确时间序列预测的首个系统研究。我们的方法围绕三个关键创新展开：一种统计增强的提示机制，通过描述性统计特征桥接数值时间序列与文本语义；一种自适应融合嵌入架构，通过可学习参数将时间模式与语言模型标记空间对齐；以及一种由SLM计算效率支持的动态混合专家框架，自适应地组合基础预测与领域特定模型。在七个基准数据集上的广泛评估表明，我们的3B参数SLM在五个主要数据集上达到了最先进性能，同时相比7B参数LLM基线实现了3.8倍更快的训练和5.2倍更低的内存消耗。值得注意的是，所提出的模型展现出更好的学习能力，与传统LLM相比实现了12.3%的MSE降低。消融研究验证了我们的统计提示和跨模态融合模块分别在长时序预测任务中贡献了15.7%和18.2%的误差降低。通过重新定义效率-准确率权衡格局，这项工作确立了SLM作为资源密集型LLM在实用时间序列预测中的可行替代方案。代码和模型可在https://github.com/xiyan1234567/SMETimes获取。
引用
@article{arxiv.2503.03594,
title = {Small but Mighty: Enhancing Time Series Forecasting with Lightweight LLMs},
author = {Haoran Fan and Bin Li and Yixuan Weng and Shoujun Zhou},
journal= {arXiv preprint arXiv:2503.03594},
year = {2025}
}
备注
20 pages, 10 figures