Prithvi WxC：面向天气与气候的基础模型
机器学习
2024-09-23 v1 大气与海洋物理
摘要
随着AI模拟器能够与在高性能计算系统上运行的传统数值天气预报模型相当的性能而逐渐增多，现在有越来越多的大型AI模型正在解决诸如预测、下采样或即时预测等用例。尽管AI文献中并行发展集中在基础模型——即能够有效微调以解决多个不同用例的模型——但天气与气候领域的发展大多集中在单一用例，尤其强调中程预报。我们通过引入Prithvi WxC，弥合了这一差距。这是一个由23亿参数构成的基础模型，使用来自Modern-Era Retrospective Analysis for Research and Applications, Version 2 (MERRA-2)的160个变量开发而成。Prithvi WxC采用编码器-解码器结构，融合了各种近期transformer模型的概念，以有效捕获输入数据中的区域和全局依赖关系。该模型设计用于容纳大量token，以在不同拓扑结构中以细分辨率建模天气现象。此外，它采用将掩码重建与预测范例结合的混合目标进行训练。我们在一组具有挑战性的下游任务上对模型进行测试，包括：自回归滚动预测、下采样、引力波通量参数化以及极端事件估计。该预训练的23亿参数模型以及相关的微调工作流程已通过Hugging Face公开发布为开源贡献。
引用
@article{arxiv.2409.13598,
title = {Prithvi WxC: Foundation Model for Weather and Climate},
author = {Johannes Schmude and Sujit Roy and Will Trojak and Johannes Jakubik and Daniel Salles Civitarese and Shraddha Singh and Julian Kuehnert and Kumar Ankur and Aman Gupta and Christopher E Phillips and Romeo Kienzler and Daniela Szwarcman and Vishal Gaur and Rajat Shinde and Rohit Lal and Arlindo Da Silva and Jorge Luis Guevara Diaz and Anne Jones and Simon Pfreundschuh and Amy Lin and Aditi Sheshadri and Udaysankar Nair and Valentine Anantharaj and Hendrik Hamann and Campbell Watson and Manil Maskey and Tsengdar J Lee and Juan Bernabe Moreno and Rahul Ramachandran},
journal= {arXiv preprint arXiv:2409.13598},
year = {2024}
}