中文

CIRA 环境科学神经网络自定义损失函数指南——版本 1

机器学习 2021-06-21 v1 人工智能 大气与海洋物理

摘要

神经网络在环境科学应用中日益广泛使用。此外,神经网络模型通过最小化损失函数进行训练,对于环境科学应用而言,谨慎选择损失函数至关重要,因为它决定了具体被优化的目标。标准损失函数无法涵盖环境科学的全部需求,这使得科学家能够开发自己的自定义损失函数以实施环境科学中已提出的许多经典性能度量(包括为空间模式验证开发的度量)变得十分重要。然而,全面涵盖自定义损失函数开发基础的资源极少,且据我们所知,没有专注于环境科学家需求的此类资源。本文档试图通过提供一份针对环境科学应用的自定义损失函数编写指南来填补这一空白。主题包括自定义损失函数编写基础、常见陷阱、损失函数中可使用的函数、以分数技巧评分作为损失函数等示例、如何引入物理约束、离散与软离散化,以及 focal、鲁棒和自适应损失等概念。虽然本指南中的示例目前以 Python 配合 Keras 和 TensorFlow 后端给出,但基本概念也适用于其他环境,例如 Python 配合 PyTorch。同样,此处提供的样本损失函数来自气象学,这些仅是如何创建自定义损失函数的示例。环境科学的其他领域对自定义损失函数也有非常相似的需求,例如用于有效评估空间预报,此处讨论的概念也可应用于那些领域。所有代码示例均在 GitHub 仓库中提供。

关键词

引用

@article{arxiv.2106.09757,
  title  = {CIRA Guide to Custom Loss Functions for Neural Networks in Environmental Sciences -- Version 1},
  author = {Imme Ebert-Uphoff and Ryan Lagerquist and Kyle Hilburn and Yoonjin Lee and Katherine Haynes and Jason Stock and Christina Kumler and Jebb Q. Stewart},
  journal= {arXiv preprint arXiv:2106.09757},
  year   = {2021}
}

备注

37 pages