中文

我们能否将空间验证方法整合到大气科学的神经网络损失函数中?

机器学习 2022-12-08 v2 人工智能 大气与海洋物理 应用统计 统计方法学

摘要

在过去十年中,大气科学中许多工作聚焦于针对网格化预测的空间验证(SV)方法,其克服了逐像素验证的严重缺陷。然而,大气科学中的神经网络(NN)几乎总是被训练以优化逐像素损失函数,即便最终使用SV方法评估时也是如此。这在训练期间与训练后的模型验证之间造成了脱节。为解决此问题,我们开发了空间增强损失函数(SELF),并展示了它们在一个真实问题中的使用:用NN预测雷暴(以下称“对流”)的发生。在每个SELF中,我们使用邻域滤波器(突出大于某一阈值尺度的对流)或谱滤波器(采用傅里叶或小波分解,更灵活且突出介于两个阈值尺度之间的对流)。我们利用这些滤波器对常用验证分数(如Brier分数)进行空间增强。我们用不同的SELF训练每个NN,并比较它们在从离散风暴单体到热带气旋的多种对流尺度上的表现。我们的众多发现包括:(a) 对于低(高)风险阈值,理想的SELF聚焦于小(大)尺度;(b) 用逐像素损失函数训练的模型表现得出奇地好;(c) 然而,用谱滤波器训练的模型比逐像素模型产生校准得更好的概率。我们提供了使用SELF的一般指南,包括技术挑战和最终的Python代码,并展示其在对流问题上的应用。据我们所知,这是地球科学中最为深入的SELF指南。

关键词

引用

@article{arxiv.2203.11141,
  title  = {Can we integrate spatial verification methods into neural-network loss functions for atmospheric science?},
  author = {Ryan Lagerquist and Imme Ebert-Uphoff},
  journal= {arXiv preprint arXiv:2203.11141},
  year   = {2022}
}

备注

51 pages + 21 pages of supplemental material, 15 figures, 3 tables, 7 supplemental figures, accepted to Artificial Intelligence for Earth Systems