基于 Transformer 的差分注意力融合模型用于时间序列预测
机器学习
2022-02-24 v1
摘要
时间序列预测广泛应用于设备生命周期预测、天气预报、交通流量预测等领域。近年来，由于其强大的并行训练能力，一些学者尝试将 Transformer 应用于时间序列预测。然而，现有的 Transformer 方法对预测中起决定性作用的小时间段关注不足，使其对影响时间序列趋势的微小变化不敏感，且难以有效学习连续的时间依赖特征。为解决该问题，我们提出了一种基于 Transformer 的差分注意力融合模型，在经典 Transformer 架构基础上设计了差分层、邻域注意力、滑动融合机制和残差层。具体而言，通过差分和邻域注意力提取并聚焦于相邻时间点的差异。滑动融合机制融合每个时间点的多种特征，使数据能够参与编码和解码而不丢失重要信息。包含卷积和 LSTM 的残差层进一步学习时间点之间的依赖关系，使我们的模型能够进行更深层次的训练。在三个数据集上的大量实验表明，我们的方法产生的预测结果与最先进的（state-of-the-art）结果相比具有优势。
引用
@article{arxiv.2202.11402,
title = {A Differential Attention Fusion Model Based on Transformer for Time Series Forecasting},
author = {Benhan Li and Shengdong Du and Tianrui Li},
journal= {arXiv preprint arXiv:2202.11402},
year = {2022}
}