AME-TS: 面向时间序列预测的锚定混合专家模型
机器学习
2026-05-26 v1 人工智能
摘要
时间序列预测模型正通过大型Transformer主干网络不断扩展规模，然而，尽管时间结构存在显著异质性，大多数现有方法仍通过共享的密集计算路径处理所有序列。混合专家模型（MoE）通过启用条件计算提供了一种自然的替代方案，但标准MoE路由导致专家专业化程度弱，且在下游适应过程中往往不稳定。我们提出AME-TS，一种结构引导的稀疏时间序列基础模型，它将专家路由与可解释的时间结构对齐。AME-TS首先使用一个轻量级状态预测器来估计序列级描述符，包括可预测性、季节性、趋势和稀疏性，并将它们映射到专家上的软结构先验。这个序列级先验在训练期间指导令牌级路由，鼓励结构对齐的专业化。在GIFT-Eval基准测试上，AME-TS在不同模型规模下实现了强大的精度-效率权衡：它在小模型规模上显著优于现有的时间序列基础模型，在较大规模上与最强模型保持竞争力，同时通过稀疏路由激活的参数大幅减少。我们进一步表明，与标准MoE相比，AME-TS在M5数据集上的微调过程中学习了更可解释的路由几何结构和更稳定的专家专业化。这些结果表明，结构感知路由是实现稀疏专家模型在时间序列预测中优势的有效且可靠的方法。
引用
@article{arxiv.2605.25166,
title = {AME-TS: Anchored Mixture-of-Experts for Time Series Forecasting},
author = {Rui Wang and Renhao Xue and Ray Razi and Huan Song and Hannah R. Marlowe},
journal= {arXiv preprint arXiv:2605.25166},
year = {2026}
}