Paraformer：基于 Transformer 的亚网格尺度过程参数化
机器学习
2024-12-24 v1 大气与海洋物理
摘要
全球气候模型（GCM）中表示亚网格尺度物理过程的不确定性是当前主要来源之一。多年来，开发并测试了一系列基于深度学习的参数化方案，既用于理想化模型，也用于真实地理模型。然而，以往深度学习模型所使用的数据集要么包含的变量有限，要么在空间时间覆盖上有限，无法完全模拟参数化过程。此外，这些方案依赖经典架构，而 Transformer 模型中最新的注意力机制在该领域仍未被探索。本文提出 Paraformer，一种基于 ClimSim（目前为气候参数化创建的最大数据集）的“内存感知”Transformer 模型。我们的结果表明，所提出的模型成功捕捉了亚网格尺度变量中复杂的非线性依赖关系，并优于经典的深度学习架构。这一工作突显了衰减机制在该领域的可行性，为开发未来的基于深度学习的气候参数化方案提供了宝贵的见解。
引用
@article{arxiv.2412.16763,
title = {Paraformer: Parameterization of Sub-grid Scale Processes Using Transformers},
author = {Shuochen Wang and Nishant Yadav and Auroop R. Ganguly},
journal= {arXiv preprint arXiv:2412.16763},
year = {2024}
}