GateTS：基于注意力启发路由混合专家的通用高效预测模型
机器学习
2025-08-26 v1
摘要
准确的单变量预测在实际系统中仍然迫切需求，包括能源市场、水文学、零售需求和物联网监控等领域，此类信号往往呈现间歇性，且时间跨度涵盖短期和长期。虽然变压器和混合专家（MoE）架构正日益受到时间序列预测的青睐，但仍存在一个关键缺口：MoE 模型通常需要复杂的训练，包括主要预测损失和辅助负载平衡损失，以及精细的路由/温度调谐，这限制了其实际应用。本文提出一种模型架构，简化了单变量时间序列预测的训练过程，同时有效解决短期和长期预测问题，包括间歇模式。我们的方案将稀疏 MoE 计算与一种新颖的注意力启发门控机制相结合，该机制取代了传统单层 Softmax 路由器。通过大量实验评估，我们展示了该门控设计自然促进了专家使用的均衡，并在无需通常用于经典 MoE 实现的辅助负载平衡损失的情况下实现了卓越的预测准确性。该模型在仅使用状态最佳变压器模型（如 PatchTST）所需参数的有限比例的情况下，实现了更好的性能。此外，跨越多样数据集的实验确认，我们的 MoE 架构及其提出的门控机制对于长期和短期预测都比 LSTM 更具计算效率，实现了成本有效的推断。这些结果凸显了该方法在准确性和计算效率都至关重要的实际时间序列预测应用中的潜力。
引用
@article{arxiv.2508.17515,
title = {GateTS: Versatile and Efficient Forecasting via Attention-Inspired routed Mixture-of-Experts},
author = {Kyrylo Yemets and Mykola Lukashchuk and Ivan Izonin},
journal= {arXiv preprint arXiv:2508.17515},
year = {2025}
}