MoHETS：基于混合异构专家的长期时间序列预测
机器学习
2026-03-16 v2 人工智能
摘要
现实的多变量时间序列可能呈现复杂的多尺度结构，包括全局趋势、局部周期性和非平稳区间，这使得长期预测具有挑战性。虽然稀疏混合专家（MoE）方法在可扩展性和专业化方面取得了改进，但它们通常依赖于均匀的 MLP 专家，难以捕捉时间序列数据中各类时序动力学的差异。我们通过 MoHETS 提出了解决方案，这是一个仅使用 encoder 的 Transformer，集成稀疏混合异构专家（MoHE）层。MoHE 将时序片段路由到小型专家网络组合中，既包含用于序列级连续性的共享深度可分离卷积专家，也包含用于片段级周期结构的路由 Fourier 专家。MoHETS 进一步通过对外生信息在协变量片段嵌入上的交叉注意力来增强对非平稳动力学的鲁棒性。最后，我们用轻量级卷积片段解码器取代参数密集的线性投影头，提高了参数效率，减少了训练不稳定性，使单个模型能够在任意预测时域范围内通用。我们在七个多变量基准测试和多个时域上进行了验证，MoHETS 在保持最小化性能损失的同时，持续实现最先进的预测效果，平均 MSE 相较于强大的近期基线降低了 ，有效实现了长期预测中的异构专业化。
引用
@article{arxiv.2601.21866,
title = {MoHETS: Long-term Time Series Forecasting with Mixture-of-Heterogeneous-Experts},
author = {Evandro S. Ortigossa and Guy Lutsker and Eran Segal},
journal= {arXiv preprint arXiv:2601.21866},
year = {2026}
}
备注
Under review