FreEformer：用于多变量时间序列预测的频率增强变换器
机器学习
2025-01-27 v1 人工智能
摘要
本文提出了FreEformer，这是一个简单而有效的模型，利用频率增强变换器（Frequency Enhanced Transformer，简称FreEformer）进行多变量时间序列预测。我们的工作基于这样一种假设：频率谱提供了关于系列在 various 频率上组成的全局视角，且高度适用于稳健的表示学习。具体而言，我们首先将时间序列转换为使用离散傅里叶变换（DFT）的复数频率域。然后应用变换器架构对频率谱进行处理，以捕获跨变量依赖关系，实部和虚部分别独立处理。然而，我们注意到，原始注意力矩阵呈现低秩特征，从而限制了表示的多样性。这可归因于频率域的内在稀疏性以及Softmax在原始注意力机制中的价值导向特性。为此，我们通过向原始注意力矩阵引入额外的可学习矩阵，并进行行归一化L1处理来增强原始注意力机制。理论分析表明，这种增强注意力机制提高了特征的多样性和梯度流。广泛的实验表明，FreEformer在覆盖电力、交通、天气、医疗和金融等18个真实世界基准测试上 consistently 优于最先进的模型。值得注意的是，增强的注意力机制也 consistently 改善了基于变换器的其他最先进预测模型的性能。
引用
@article{arxiv.2501.13989,
title = {FreEformer: Frequency Enhanced Transformer for Multivariate Time Series Forecasting},
author = {Wenzhen Yue and Yong Liu and Xianghua Ying and Bowei Xing and Ruohao Guo and Ji Shi},
journal= {arXiv preprint arXiv:2501.13989},
year = {2025}
}