Yformer：受 U-Net 启发的用于远距离时序预测的 Transformer 架构
机器学习
2022-10-24 v2
摘要
时间序列数据在研究中以及多种工业应用中无处不在。有效分析可用历史数据并对遥远未来提供洞察，使我们能够做出有效决策。近期研究见证了基于 Transformer 的架构的优越性能，尤其在远距离时序预测领域。然而，当前最先进的稀疏 Transformer 架构未能将下采样与上采样过程耦合以产生与输入相似分辨率的输出。我们提出 Yformer 模型，基于一种新颖的 Y 形编码器-解码器架构，其（1）在受 U-Net 启发的架构中使用从下尺度编码器层到相应上采样解码器层的直接连接，（2）将下尺度/上采样与稀疏注意力结合以捕捉长程效应，以及（3）通过添加辅助重构损失来稳定编码器-解码器堆栈。我们在四个基准数据集上与相关基线进行了大量实验，结果表明，在单变量和 multivariate 设定下，相较于当前最先进水平，MSE 平均分别提升 19.82、18.41 个百分点，MAE 平均分别提升 13.62、11.85 个百分点。
引用
@article{arxiv.2110.08255,
title = {Yformer: U-Net Inspired Transformer Architecture for Far Horizon Time Series Forecasting},
author = {Kiran Madhusudhanan and Johannes Burchert and Nghia Duong-Trung and Stefan Born and Lars Schmidt-Thieme},
journal= {arXiv preprint arXiv:2110.08255},
year = {2022}
}
备注
Accepted by the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECMLPKDD 2022)