走不同寻常路：增强时间序列预测 Transformer 的解码器
机器学习
2023-12-12 v1 人工智能
摘要
随着物联网 (IoT) 系统的发展，决策者需要精确的长期预测方法来评估当前状态并制定未来政策。目前，Transformer 和 MLP 是深度时间序列预测的两种范式，前者凭借其精巧的注意力机制和编码器-解码器架构而更为盛行。然而，数据科学家似乎更愿意深入研究编码器，而对解码器漠不关心。一些研究者甚至采用线性投影来代替解码器以降低复杂度。我们主张，提取输入序列的特征以及寻找输入与预测序列之间的关系（分别对应编码器和解码器的功能）都至关重要。受计算机视觉 (CV) 领域 FPN 成功的启发，我们提出 FPPformer，分别在编码器和解码器中利用自底向上和自顶向下的架构，以构建完整且合理的层次结构。本工作利用并进一步发展了前沿的分块注意力，将其与改进的逐元素注意力相结合，且其在编码器和解码器中的形式也有所不同。在十二个基准上与六个最先进的基线进行的广泛实验验证了 FPPformer 的优异性能，以及在时间序列预测 Transformer 中精心设计解码器的重要性。源代码发布于 https://github.com/OrigamiSL/FPPformer。
引用
@article{arxiv.2312.05792,
title = {Take an Irregular Route: Enhance the Decoder of Time-Series Forecasting Transformer},
author = {Li Shen and Yuning Wei and Yangzhu Wang and Hongguang Li},
journal= {arXiv preprint arXiv:2312.05792},
year = {2023}
}
备注
Accepted by IEEE IoT; Open sources; Response letter provided