STC-ViT: 面向中期全球天气预报的时空连续视觉Transformer
机器学习
2025-12-02 v4
摘要
业务数值天气预报（NWP）系统依赖于计算成本高昂的基于物理的模型。近年来，Transformer模型在天气预报中展现出显著潜力，取得了最先进的结果。然而，传统Transformer将时空维度离散化，限制了其对连续动态天气过程建模的能力。此外，它们依赖增加深度来捕获复杂依赖关系，导致更高的计算成本和参数冗余。我们通过STC-ViT（一种用于天气预报的时空连续视觉Transformer）解决了这些问题。STC-ViT将用于全局空间算子的傅里叶神经算子（FNO）与参数化为Transformer的神经ODE相结合，用于连续时间动力学，从而产生一个用于天气预报的时空连续模型。即使使用浅层单层Transformer编码器，我们提出的方法也能实现有竞争力的预测性能，减轻了对更深网络的依赖。STC-ViT仅需0.125秒的推理速度即可生成完整的预测轨迹，并且在1.5度WeatherBench 2上，与使用更高分辨率数据训练的最先进数据驱动和NWP模型相比，实现了强劲的中期预报技能，同时数据量和计算成本显著降低。我们还提供了关于模型在更密集时间网格、更高精度ODE求解器和更深Transformer堆栈方面性能的详细实证分析。
引用
@article{arxiv.2402.17966,
title = {STC-ViT: Spatio Temporal Continuous Vision Transformer for Medium-range Global Weather Forecasting},
author = {Hira Saleem and Flora Salim and Cormac Purcell},
journal= {arXiv preprint arXiv:2402.17966},
year = {2025}
}