WeatherFormer：以时空 Transformer 赋能全球数值天气预报
人工智能
2024-09-26 v1 机器学习
大气与海洋物理
摘要
数值天气预报（NWP）系统是对现代社会产生重大影响的基础设施。然而，传统的 NWP 系统通过庞大的计算集群求解复杂的偏微分方程来解决该问题，导致大量的碳排放。探索高效且环保的 NWP 解决方案引起了人工智能（AI）和地球科学界的兴趣。为了缩小基于 AI 的方法与物理预测器之间的性能差距，本工作提出了一种新的基于 Transformer 的 NWP 框架，称为 WeatherFormer，以建模复杂的时空大气动力学并赋能数据驱动的 NWP 能力。WeatherFormer 创新性地引入了时空分解 Transformer 块以减少参数和内存消耗，其中提出了位置感知自适应傅里叶神经算子（PAFNO）用于位置敏感的 token 混合。此外，利用两种数据增强策略来提升性能并降低训练消耗。在 WeatherBench 数据集上的大量实验表明，WeatherFormer 的性能优于现有的深度学习方法，并进一步逼近最先进的物理模型。
引用
@article{arxiv.2409.16321,
title = {WeatherFormer: Empowering Global Numerical Weather Forecasting with Space-Time Transformer},
author = {Junchao Gong and Tao Han and Kang Chen and Lei Bai},
journal= {arXiv preprint arXiv:2409.16321},
year = {2024}
}