全球气候模型的规模律
机器学习
2026-02-27 v1
摘要
数据驱动的模型正在 revolutionize 气候预报。为优化训练效率和模型性能，本文分析了该领域内的经验规模律。我们研究了模型性能（验证损失）与三个关键因素：模型规模（）、数据集规模（）和计算预算（）之间的关系。在各种模型中，我们发现Aurora exhibits最强的数据规模行为：训练数据集增加10倍可将验证损失降低最高达3.2倍。GraphCast 参数效率最高，但受限于硬件利用率。我们的计算最优分析表明，在固定计算预算下，将资源分配给更长的训练时长比增加模型规模更能获得更大的性能提升。此外，我们分析了模型结构，发现其规模行为与语言模型的观察结果存在根本不同：气候预报模型始终偏好增加宽度而非深度。这些发现表明，未来的气候模型应优先考虑更宽的架构和更大的有效训练数据集，以最大化预测性能。
引用
@article{arxiv.2602.22962,
title = {Scaling Laws of Global Weather Models},
author = {Yuejiang Yu and Langwen Huang and Alexandru Calotoiu and Torsten Hoefler},
journal= {arXiv preprint arXiv:2602.22962},
year = {2026}
}
备注
17 pages, 7 figures