球面上基于因子化注意力的全球天气预测模型CaFA

准确的天气预报对于各行各业都至关重要, 影响决策过程和社会事件。基于机器学习模型的数据驱动方法最近作为替代数值天气预报模型的有前景的选择, 由于其有潜力从历史数据中捕捉不同尺度的物理, 以及在预测阶段的显著低计算成本。以在各类领域实现卓越性能著称的 Transformer 模型也在机器学习天气预测中受到欢迎。然而, 将 Transformer 架构应用于天气预报, 尤其是全球尺度, 由于注意力机制的二次复杂度以及空间点随分辨率增加的二次增长, 仍面临计算挑战。本文提出一种针对球面几何的因子化注意力模型，以缓解此问题。具体而言, 它利用多维因子化核在不同轴上进行卷积, 其中内核的计算复杂度仅为轴向分辨率的二次方, 而非整体分辨率。该模型在 $1.5^\circ$ 和 0-7 天预报时, 确定性预测精度与当前最先进的纯数据驱动机器学习天气预报模型持平。我们还展示了该模型在 Transformer 天气模型的准确性-效率 Pareto 前沿上具有巨大的潜力，其中能够以更少的计算成本实现比标准注意力 Transformer 模型更好的准确性。