HEAL-ViT：基于球面网格的中期天气预报 Vision Transformer

近年来，各种机器学习架构和技术在生成高技巧中期天气预报方面取得了成功。特别是基于 Vision Transformer (ViT) 的模型（如 Pangu-Weather、FuXi）表现出了强大的性能，通过将天气数据视为直线网格上的多通道图像，几乎可以“开箱即用”地工作。虽然直线网格适用于 2D 图像，但天气数据本质上是球面的，因此在直线网格上极地处会发生严重畸变，导致用于建模极地附近数据的计算资源不成比例。基于图的方法（如 GraphCast）不存在这个问题，因为它们将经纬度网格映射到球面网格，但通常内存消耗更大，并且在训练和推理时往往需要更多的计算资源。虽然球面网格在空间上是均匀的，但它并不容易直接被隐式依赖直线网格结构的基于 ViT 的模型所建模。我们提出了 HEAL-ViT，一种在球面网格上使用 ViT 模型的新颖架构，从而既受益于基于图的方法所享有的空间均匀性，又利用了 Transformer 所采用的高效注意力机制。HEAL-ViT 生成的天气预报在关键指标上优于 ECMWF IFS，并且与其他机器学习天气预报模型相比，表现出更好的偏差积累和模糊性。此外，HEAL-ViT 较低的计算足迹使其对业务应用也具有吸引力，在业务应用中，除了 6 小时预测模型之外，可能还需要其他模型来生成所需的完整业务预报集合。