ClimaX：面向天气与气候的基础模型

大多数最先进的天气与气候建模方法基于大气的物理信息数值模型。这些方法旨在对多个变量间的非线性动力学与复杂相互作用建模，这难以近似。此外，许多此类数值模型计算密集，尤其在精细时空分辨率下模拟大气现象时。近期基于机器学习的纯数据驱动方法转而旨在通过深度神经网络学习数据驱动的函数映射，直接求解下游预报或预估任务。然而，这些网络使用针对特定时空任务筛选的同质气候数据集训练，因而缺乏数值模型的通用性。我们开发并展示了ClimaX，一个灵活且可泛化的深度学习模型，用于天气与气候科学，可使用跨越不同变量、时空覆盖与物理基础的异质数据集训练。ClimaX以Transformer架构为基础，引入新颖的编码与聚合模块，在保持通用性的同时有效利用可用算力。ClimaX以CMIP6衍生的气候数据集通过自监督学习目标进行预训练。预训练后的ClimaX可微调以处理广泛的气候与天气任务，包括涉及预训练期间未见的 atmospheric变量与时空尺度的任务。与现有数据驱动基线相比，我们表明ClimaX的这种通用性在天气预报与气候预估基准上带来更优性能，即便在以更低分辨率和算力预算预训练时亦然。源代码见 https://github.com/microsoft/ClimaX。