TimeFormer：基于时间特征调制的 Transformer 用于时间序列预测
机器学习
2025-10-09 v1
摘要
虽然 Transformer 在自然语言处理方面表现出色，但其在时间序列预测中的扩展仍面临挑战，由于未充分考虑文本与时间序列模态之间的差异。本文开发了一种专为时间序列数据设计的新型 Transformer 架构，以最大化其表征能力。我们识别出两种关键但常被忽视的时间序列特征：(1) 从过去对未来的单向影响，(2) 随时间衰减的影响现象。这些特征被引入 Transformer 的注意力机制中。我们提出 TimeFormer，其核心创新是一种带有两种调制项（MoSA）的自注意力机制，旨在受制于 Hawkes 过程和因果掩码的约束下捕获时间序列的先验特征。此外，TimeFormer 引入一种基于多尺度和子序列分析的框架，以捕获不同时间尺度上的语义依赖，丰富了时间依赖关系。在多个真实世界数据集上的大规模实验表明，TimeFormer 显著优于最先进的方法，较最佳基线在 MSE 上降低最高可达 7.45%，在 94.04% 的评估指标上均创下新纪录。此外，我们展示了 MoSA 机制可被广泛应用于提升其他基于 Transformer 的模型性能。
关键词
引用
@article{arxiv.2510.06680,
title = {TimeFormer: Transformer with Attention Modulation Empowered by Temporal Characteristics for Time Series Forecasting},
author = {Zhipeng Liu and Peibo Duan and Xuan Tang and Baixin Li and Yongsheng Huang and Mingyang Geng and Changsheng Zhang and Bin Zhang and Binwu Wang},
journal= {arXiv preprint arXiv:2510.06680},
year = {2025}
}