用Transformer网络探究水文可预报性的极限
机器学习
2023-06-22 v1 人工智能
地球物理
摘要
自引入水文学以来数年，像长短期记忆(LSTM)这样的循环神经网络在已知可比基准的日水文过程线指标上一直难以被超越。在水文学之外，Transformer已成为序列预测任务的首选模型，这使其成为一个值得研究的架构。在此，我们首先表明在广泛基准化的CAMELS数据集上，原始Transformer架构在与LSTM的竞争中并不占优，并且由于短期过程，在高流量指标上尤其落后。然而，一种无递归的Transformer变体可与LSTM得到混合的比较结果，产生相同的Kling-Gupta效率系数(KGE)以及其他指标。Transformer缺乏优势与水文预测问题的马尔可夫性质有关。与LSTM类似，Transformer也可以合并多个强迫数据集以提升模型性能。虽然Transformer的结果未高于当前最先进水平，我们仍学到了一些有价值的经验：(1) 原始Transformer架构不适合水文建模；(2) 所提出的无递归改进可提升Transformer性能，因此未来工作可继续测试更多此类改进；(3) 该数据集上的预测极限应接近于当前最先进模型。作为一种非递归模型，Transformer在从更大数据集学习及存储知识方面可能具有规模优势。本工作可作为未来模型改进的参考基准。
引用
@article{arxiv.2306.12384,
title = {Probing the limit of hydrologic predictability with the Transformer network},
author = {Jiangtao Liu and Yuchen Bian and Chaopeng Shen},
journal= {arXiv preprint arXiv:2306.12384},
year = {2023}
}