探索基于深度学习的天气预报系统设计空间

尽管在开发基于深度学习的天气预报系统方面取得了显著进展，但其设计空间（包括不同设计选择的影响）尚未得到充分理解。本文旨在通过系统性地分析这些选择来弥合这一知识鸿沟，包括网络架构、问题表述、预训练方案、使用基于图像的预训练模型、损失函数、噪声注入、多步骤输入、额外的静态掩码、多步骤微调（包括更大步长的模型），以及在更大数据集上的训练。我们研究了固定网格架构（如 UNet）、全卷积架构和基于转换器的模型，以及网格不变架构，包括基于图的模型和基于算子的模型。我们的结果表明，固定网格架构在网格不变架构方面取得了优异性能，表明在网格不变模型（如神经算子）中仍需进一步的架构开发。因此，我们提出了一种混合系统，将固定网格模型的强大性能与网格不变架构的灵活性相结合。我们进一步表明，对于大多数深度学习模型而言，多步骤微调是必要的，这在过去是实际中常见的做法。预训练目标的性能低于监督训练，而基于图像的预训练模型在某些情况下相对于从头训练提供了有用的归纳偏置。有趣的是，我们发现，在较小模型上使用更大数据集进行训练相对于在较小数据集上延长训练时间具有强大的正面效果。另一方面，较大的模型主要受益于增加计算预算。我们相信这些结果将有助于未来设计更好的天气预报系统。