基于调制专家的多模态时间序列预测

现实中的时间序列具有复杂且不断演化的动力学，使得精确预测极具挑战性。最近的多模态预测方法利用新闻报道等文本信息来提高预测准确性，但大多数方法依赖于基于标记的融合，将时间片与语言标记在共享嵌入空间中混合。然而，当高质量的时间-文本配对稀缺且时间序列在尺度和特征方面存在显著差异时，这种融合方式不太合适，导致跨模态对齐复杂化。同时，Mixture-of-Experts（MoE）架构在时间序列建模和多模态学习中均显示出良好的效果，但许多现有的基于 MoE 的模态集成方法仍依赖基于标记的融合。为此，我们提出了 Expert Modulation（调制专家）方法，这是一种新的多模态时间序列预测范式，通过对文本信号进行条件化路由和专家计算，实现对专家行为的直接且高效的跨模态控制。通过全面的理论分析和实验，我们的方法在多模态时间序列预测方面显示出显著的改进。当前代码可在 https://github.com/BruceZhangReve/MoME 查看。