时序预测模型的频域专家混合模型：MoFE-Time
机器学习
2025-07-10 v1 人工智能
摘要
时序预测作为一种重要的数据模态任务，在 diverse applications 中发挥着关键作用。随着大型语言模型 (LLM) 的快速发展，越来越多的人开始关注将 LLM 作为时序建模的基础架构。虽然已有模型取得了一些成功，但很少有模型能够在预训练-微调范式下同时建模时域和频域特征，这导致在预测复杂时序信号时表现次佳——这些信号需要同时建模周期性和先验模式知识。我们提出了 MoFE-Time，一种创新的时序预测模型，其在混合专家 (MoE) 网络中集成了时域和频域特征。此外，我们将预训练-微调范式作为训练框架，以有效地将来自不同周期分布的预训练和微调数据集之间的先验模式知识进行迁移。我们的方法在注意力模块之后引入时域和频域细胞作为专家，并利用 MoE 路由机制构建输入信号的多维稀疏表示。在六个公开基准数据集上的实验中，MoFE-Time 实现了最新的性能，使 MSE 和 MAE 分别降低了 6.95% 和 6.02%。除了现有的评估基准之外，我们还开发了一个来自真实世界商业场景的专有数据集 NEV-sales。该方法在该数据集上取得了卓越的成绩，凸显了 MoFE-Time 模型在实际商业应用中的有效性。
引用
@article{arxiv.2507.06502,
title = {MoFE-Time: Mixture of Frequency Domain Experts for Time-Series Forecasting Models},
author = {Yiwen Liu and Chenyu Zhang and Junjie Song and Siqi Chen and Sun Yin and Zihan Wang and Lingming Zeng and Yuji Cao and Junming Jiao},
journal= {arXiv preprint arXiv:2507.06502},
year = {2025}
}