通过专家损失集成实现混合专家时间序列预测的高速训练
机器学习
2026-05-12 v1 机器学习
统计方法学
摘要
我们提出了一种新型自适应混合专家（Mixture-of-Experts, MoE）框架，用于时间序列预测，通过将专家特定损失信息直接整合到训练过程中来增强专家专属性。该方法的总目标由基础预测损失和专家特定损失组成，使专家层面的预测误差能够与全局预测损失共同塑造训练过程。该框架进一步结合了部分在线学习策略，实现对门控机制和专家参数的增量更新。这种方法通过消除对重复完整模型重新训练的需求，显著降低了计算成本。通过将专家损失意识与高效在线优化相结合，所提方法在保持强预测性能的同时实现了更高的学习效率。跨经济、旅游和能源数据集（包含不同频率）的实证结果表明，所提方法在预测准确性和计算效率方面普遍优于统计方法以及最新神经网络模型（如 Transformer 和 WaveNet）。此外，消融研究确认了专家特定损失集成策略的有效性，凸显了其对提升预测性能的贡献。
引用
@article{arxiv.2605.10330,
title = {Fast Training of Mixture-of-Experts for Time Series Forecasting via Expert Loss Integration},
author = {Btissame El Mahtout and Florian Ziel},
journal= {arXiv preprint arXiv:2605.10330},
year = {2026}
}