基于部分参数共享的低秩适应混合模型用于时间序列预测
机器学习
2025-05-28 v2 人工智能
摘要
多任务预测已成为时间序列预测(TSF)的标准方法。然而，我们发现其存在表达瓶颈：不同时间步的预测共享相同的表示，导致即使在最佳表示下也不可避免地出现误差。为此，我们提出一个两阶段框架：首先，对一个一步预测进行基础模型进行预训练；随后，使用步骤特定的LoRA模块进行适应。这种设计使基础模型能够处理任意数量的预测步骤，同时避免表达瓶颈。我们进一步引入Mixture-of-LoRA(MoLA)模型，采用自适应加权LoRA专家实现步骤间的部分参数共享。该方法通过利用预测步骤之间的相互依赖性，提高了效率和预测性能。实验表明，MoLA显著提升了模型的表达能力，并优于现有的先进时间序列预测方法。代码地址：https://anonymous.4open.science/r/MoLA-BC92。
引用
@article{arxiv.2505.17872,
title = {Mixture of Low Rank Adaptation with Partial Parameter Sharing for Time Series Forecasting},
author = {Licheng Pan and Zhichao Chen and Haoxuan Li and Guangyi Liu and Zhijian Xu and Zhaoran Liu and Hao Wang and Ying Wei},
journal= {arXiv preprint arXiv:2505.17872},
year = {2025}
}