理解并缓解物理信息神经网络中的梯度病态
机器学习
2020-01-15 v1 数值分析
数值分析
机器学习
摘要
神经网络在不同科学领域的广泛应用常涉及将其约束以满足特定对称性、守恒律或其他领域知识。此类约束常作为模型训练期间的软惩罚施加，并有效充当经验风险损失的领域特定正则化器。物理信息神经网络即是这一理念的例证：深度神经网络的输出被约束以近似满足给定的一组偏微分方程。本文回顾科学机器学习的最新进展，特别关注物理信息神经网络在预测物理系统结果及从含噪数据发现隐藏物理方面的有效性。我们亦识别并分析此类方法的一种根本失效模式，其关联于数值刚性导致模型训练期间反向传播梯度不平衡。为应对此局限，我们提出一种利用模型训练期间梯度统计的学习率退火算法，以平衡复合损失函数中不同项间的相互作用。我们还提出一种对此类梯度病态更具韧性的新颖神经网络架构。综上，我们的研究为约束神经网络的训练提供新见解，并在计算物理一系列问题上将物理信息神经网络的预测精度持续提高50–100倍。本稿件附带的代码与数据均公开于\url{https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs}。
引用
@article{arxiv.2001.04536,
title = {Understanding and mitigating gradient pathologies in physics-informed neural networks},
author = {Sifan Wang and Yujun Teng and Paris Perdikaris},
journal= {arXiv preprint arXiv:2001.04536},
year = {2020}
}
备注
28 Pages, 18 figures