自注意力集成Transformer：以神经网络表示地球系统模式中的集成交互
机器学习
2021-07-13 v2 大气与海洋物理
摘要
来自地球系统模式的集合数据需要进行校准与后处理。我提出了一种基于神经网络的逐成员后处理新方法。我将集合数据同化的思想与自注意力相结合，得到了自注意力集成Transformer。其中，集合成员之间的交互被表示为加性且动态的自注意力部分。作为概念验证，我将全球ECMWF集合预报回归到ERA5再分析的2米温度场。我证明了该集成Transformer能够校准集合离散度并从集合中提取额外信息。由于这是一种逐成员方法，集成Transformer直接输出多变量且空间一致的集合成员。因此，自注意力与Transformer技术可以成为基于神经网络的集合数据非参数后处理中缺失的一环。
引用
@article{arxiv.2106.13924,
title = {Self-Attentive Ensemble Transformer: Representing Ensemble Interactions in Neural Networks for Earth System Models},
author = {Tobias Sebastian Finn},
journal= {arXiv preprint arXiv:2106.13924},
year = {2021}
}
备注
7 Pages, 4 Figures, Accepted at the ICML 2021 workshop "Tackling Climate Change with Machine Learning", Code to the paper: https://github.com/tobifinn/ensemble_transformer