面向多变量长期时间序列预测的深度专家混合模型
机器学习
2026-02-03 v1 人工智能
摘要
多变量长期时间序列预测（LTSF）支持交通流管理、太阳能调度和电力变压器监控等关键应用。现有 LTSF 方法遵循嵌入、骨干网络细化和长期预测三个阶段的管线，但各骨干网络层的行为研究不足。我们引入层敏感性指标，这是一种受 GradCAM 和有效感受野理论启发的梯度基指标，量化每个时间点对该层潜在特征的正负贡献。将该指标应用于三层 MLP 骨干网络后，发现其在输入序列中捕获时序动态方面存在深度特定的专化。基于这些洞见，我们提出 MoDEx（Mixture of Depth-specific Experts），即深度专家混合模型，用深度特定的 MLP 专家取代复杂的骨干网络。MoDEx 在七个真实世界基准测试中实现最先进的准确率，在 78% 的情况下排名第一，同时使用显著更少的参数和计算资源。它还能无缝集成到 transformer 变体中，稳定提升其性能，证明其作为一种高效且高性能 LTSF 框架的鲁棒通用性。
引用
@article{arxiv.2602.00624,
title = {MoDEx: Mixture of Depth-specific Experts for Multivariate Long-term Time Series Forecasting},
author = {Hyekyung Yoon and Minhyuk Lee and Imseung Park and Myungjoo Kang},
journal= {arXiv preprint arXiv:2602.00624},
year = {2026}
}