用于径流预测的时序融合Transformer：注意力与循环机制结合的价值
机器学习
2023-05-23 v1 地球物理
摘要
在过去的几十年里，水文学界在径流预测方面取得了显著进展，尤其是随着前沿机器学习算法的引入。循环神经网络，特别是长短期记忆（LSTM）网络，因其能够生成精确预测并真实地模拟系统动态而广受欢迎。基于注意力的模型（如Transformer）可以并行地从整个数据序列中学习，这是LSTM所不具备的特征。本研究检验了将循环与注意力结合可改进径流预测的假设。我们搭建了时序融合Transformer（TFT）架构，该模型结合了这两方面特性，且此前从未应用于水文学。我们在近期发布的Caravan数据集中分布于全球的2,610个流域上比较了LSTM、Transformer和TFT的性能。我们的结果表明，TFT确实在径流预测上超越了LSTM和Transformer所设定的性能基准。此外，作为可解释AI方法，TFT有助于深入理解径流生成过程。
引用
@article{arxiv.2305.12335,
title = {Temporal Fusion Transformers for Streamflow Prediction: Value of Combining Attention with Recurrence},
author = {Sinan Rasiya Koya and Tirthankar Roy},
journal= {arXiv preprint arXiv:2305.12335},
year = {2023}
}