EWMoE：用于全球气候预报的有效混合专家模型
大气与海洋物理
2024-08-26 v2 人工智能
机器学习
摘要
气候预报是气象学研究中的关键任务，对社会和经济产生直接影响。最近，基于深度学习的数据驱动气候预报模型显示出巨大的潜力，性能优于传统数值气候预测方法。然而，这些模型通常需要大量训练数据和计算资源。本文提出EWMoE，一个用于准确全球气候预报的有效模型，需要显著更少的训练数据和计算资源。我们的模型包含三个关键组件来增强预测准确性：3D绝对位置嵌入、核心混合专家（MoE）层，以及两个特定的损失函数。我们在ERA5数据集上进行评估，只使用两年的训练数据。大量实验表明，EWMoE在所有预报时间上都优于FourCastNet和ClimaX等当前模型，在异常相关系数（ACC）和均方根误差（RMSE）等评估指标上与Pangu-Weather和GraphCast等最先进模型保持竞争力。此外，ablation研究表明，将MoE架构应用于气候预报在提高准确性和资源效率方面具有显著优势。代码可在https://github.com/Tomoyi/EWMoE获取。
引用
@article{arxiv.2405.06004,
title = {EWMoE: An effective model for global weather forecasting with mixture-of-experts},
author = {Lihao Gan and Xin Man and Chenghong Zhang and Jie Shao},
journal= {arXiv preprint arXiv:2405.06004},
year = {2024}
}