TSMixer：用于多元时间序列预测的轻量级 MLP-Mixer 模型
机器学习
2024-12-09 v2 人工智能
摘要
Transformer 因能捕获长序列交互而在时间序列预测中广受欢迎。然而，其高内存与计算需求对长期预测构成关键瓶颈。为此，我们提出 TSMixer，一种仅由多层感知机（MLP）模块构成的轻量级神经架构，用于分块时间序列的多元预测与表示学习。受 MLP-Mixer 在计算机视觉中成功的启发，我们将其适配于时间序列，应对挑战并引入经验证的组件以提升精度。这包括一种将在线协调头连接至 MLP-Mixer 主干的新颖设计范式，用于显式建模时间序列属性如层级与通道相关性。我们还提出一种新颖的混合通道建模并引入简单门控方法，以有效处理噪声通道交互及跨多样数据集的泛化。通过融入这些轻量组件，我们显著增强了简单 MLP 结构的学习能力，以极小计算用量超越复杂 Transformer 模型。此外，TSMixer 的模块化设计兼容监督与掩码自监督学习方法，使其成为时间序列基础模型的有前景构建模块。TSMixer 以 8–60% 的显著幅度超越 SOTA 的 MLP 与 Transformer 预测模型。它还以 1–2% 的优势超越最新的 Patch-Transformer 强基准，同时内存与运行时间大幅降低（2–3 倍）。我们的模型源代码已在 HuggingFace 以 PatchTSMixer 正式发布。模型：https://huggingface.co/docs/transformers/main/en/model_doc/patchtsmixer 示例：https://github.com/ibm/tsfm/#notebooks-links
引用
@article{arxiv.2306.09363,
title = {A Simple Data Augmentation for Feature Distribution Skewed Federated Learning},
author = {Yunlu Yan and Huazhu Fu and Yuexiang Li and Jinheng Xie and Jun Ma and Guang Yang and Lei Zhu},
journal= {arXiv preprint arXiv:2306.09363},
year = {2024}
}
备注
11 pages, 3 figures