Moirai-MoE：稀疏专家混合模型驱动的时间序列基础模型
机器学习
2024-10-15 v1 机器学习
摘要
时间序列基础模型已展现出作为零样本预测器的显著性能。然而，实现对时间序列的有效统一训练仍是一个开放挑战。现有方法通过引入一定程度的模型专化来应对时间序列数据的高度异质性。例如，Moirai 通过采用多个专为处理特定频率下时间序列的输入/输出投影层来实现统一训练。类似地，TimesFM 为此目的维护了频率嵌入词典。我们识别到这种人工定义的频率级模型专化存在两个主要缺陷：(1) 频率并非时间序列底层模式的可靠指示器。例如，频率不同的时间序列可能显示相似模式，而频率相同的序列可能呈现差异化的模式。(2) 非平稳性是现实时间序列的内在属性，导致单个时间序列在短暂的上下文窗口内呈现出分布的多样性。频率级的专化过于粗糙，无法捕捉这种层次的多样性。为克服这些限制，本文引入 Moirai-MoE，通过单一输入/输出投影层，将多样化时间序列模式的建模委托给 Transformer 内部的稀疏专家混合模型 (MoE)。通过这些设计，Moirai-MoE 减少了对人类定义的启发式方法的依赖，实现了自动的 token 级专化。广泛的 39 个数据集实验表明，Moirai-MoE 在分布内及零样本场景中均优于现有基础模型。此外，本研究对时间序列 MoE 基础模型的内部工作机制进行了全面的分析，并为未来研究提供了宝贵的洞见。
引用
@article{arxiv.2410.10469,
title = {Moirai-MoE: Empowering Time Series Foundation Models with Sparse Mixture of Experts},
author = {Xu Liu and Juncheng Liu and Gerald Woo and Taha Aksu and Yuxuan Liang and Roger Zimmermann and Chenghao Liu and Silvio Savarese and Caiming Xiong and Doyen Sahoo},
journal= {arXiv preprint arXiv:2410.10469},
year = {2024}
}