线性专家混合模型用于长期时间序列预测
机器学习
2024-05-03 v3 人工智能
摘要
长期时间序列预测（LTSF）旨在根据过去的值预测时间序列的未来值。当前该问题的最先进方法（SOTA）在某些情况下由线性中心模型实现，这些模型主要具有线性映射层。然而，由于其固有的简单性，它们无法将其预测规则适应时间序列模式的周期性变化。为了解决这一挑战，我们提出了一种针对线性中心模型的专家混合风格增强，并提出了线性专家混合（MoLE）。MoLE不是训练单个模型，而是训练多个线性中心模型（即专家）和一个路由模型，该模型加权并混合它们的输出。虽然整个框架是端到端训练的，但每个专家学会专门处理特定的时间模式，路由模型学会自适应地组合专家。实验表明，MoLE在我们评估的超过78%的数据集和设置中减少了线性中心模型（包括DLinear、RLinear和RMLP）的预测误差。通过使用MoLE，现有的线性中心模型可以在68%的实验中实现PatchTST报告并与之比较的SOTA LTSF结果，而现有的单头线性中心模型仅在25%的情况下实现SOTA结果。
引用
@article{arxiv.2312.06786,
title = {Mixture-of-Linear-Experts for Long-term Time Series Forecasting},
author = {Ronghao Ni and Zinan Lin and Shuaiqi Wang and Giulia Fanti},
journal= {arXiv preprint arXiv:2312.06786},
year = {2024}
}