W-MAE：基于掩码自编码器的预训练天气模型用于多变量天气预报
机器学习
2023-12-18 v2 人工智能
大气与海洋物理
摘要
天气预报是一项长期存在的计算挑战，具有直接的社会和经济影响。该任务涉及大量连续数据收集，并展现出长期丰富的时空依赖关系，使其非常适合于深度学习模型。在本文中，我们将预训练技术应用于天气预报，并提出 W-MAE，一种用于天气预报的带掩码自编码器（Masked AutoEncoder）预训练的天气模型。W-MAE 以自监督方式进行预训练，以重建气象变量内的空间相关性。在时间尺度上，我们对预训练的 W-MAE 进行微调以预测气象变量的未来状态，从而建模天气数据中呈现的时间依赖关系。我们使用第五代 ECMWF 再分析（ERA5）数据进行实验，样本每六小时选取一次。实验结果表明，我们的 W-MAE 框架提供三个关键优势：1）在预测气象变量未来状态时，使用我们的预训练 W-MAE 能有效缓解预测中的累积误差问题，在中短期内保持稳定的性能；2）在预测诊断变量（例如总降水量）时，我们的模型相比 FourCastNet 展现出显著的性能优势；3）我们的任务无关预训练方案可轻松与各种任务特定模型集成。当我们的预训练框架应用于 FourCastNet 时，其在异常相关系数（ACC）上带来平均 20% 的性能提升。
引用
@article{arxiv.2304.08754,
title = {W-MAE: Pre-trained weather model with masked autoencoder for multi-variable weather forecasting},
author = {Xin Man and Chenghong Zhang and Jin Feng and Changyu Li and Jie Shao},
journal= {arXiv preprint arXiv:2304.08754},
year = {2023}
}