TiMi：通过多模态专家混合模式赋能时间序列 Transformer
机器学习
2026-02-26 v1
摘要
多模态时间序列预测因能够利用其他模态中固有丰富信息而提供比传统单模态模型更准确的预测而引起广泛关注。然而，由于模态对齐的根本性挑战，现有方法往往难以有效地将多模态数据纳入预测，尤其是具有因果影响的时间序列波动的文本信息，如紧急报告和政策公告。本文反思文本信息在数值预测中的作用，提出时间序列 Transformer 多模态专家混合模式 (TiMi)，以释放大语言模型 (LLM) 的因果推理能力。具体而言，TiMi 利用 LLMs 生成对未来发展的推断，作为时间序列预测的指导。为无缝整合外生因素和时间序列，本文引入多模态专家混合模式 (MMoE) 模块作为轻量级插件，使基于 Transformer 的时间序列模型具备多模态预测能力，无需显式的表示级对齐。实验表明，我们提出的 TiMi 在十六个真实世界多模态预测基准测试中始终实现最先进性能，超越先进的基准方法，同时具备强大的适应性和可解释性。
引用
@article{arxiv.2602.21693,
title = {TiMi: Empower Time Series Transformers with Multimodal Mixture of Experts},
author = {Jiafeng Lin and Yuxuan Wang and Huakun Luo and Zhongyi Pei and Jianmin Wang},
journal= {arXiv preprint arXiv:2602.21693},
year = {2026}
}