物理信息神经网络失效模式的批判性研究

科学机器学习中近期的若干工作重新激发了将神经网络应用于偏微分方程（PDEs）的兴趣。一种流行方法是将控制PDE的残差形式及其边界条件作为软惩罚聚合到复合目标/损失函数中以训练神经网络，这通常被称为物理信息神经网络（PINNs）。在本研究中，我们可视化损失景观与学习参数分布，并解释该特定目标函数形式在处理困难目标解时如何阻碍甚至阻止收敛。我们构建了一个由边界损失与域损失组成的纯数据驱动损失函数。使用该数据驱动损失函数以及单独的物理信息损失函数，我们分别训练了两个相同架构的神经网络模型。我们表明，边界与域损失项之间不可比拟的尺度是性能不佳的症结所在。此外，我们在两个具有日益复杂目标解的椭圆问题上评估了两种方法的表现。基于对其损失景观与学习参数分布的分析，我们观察到具有复合目标函数形式的物理信息神经网络会产生高度非凸且难以优化的损失曲面，并更易出现梯度消失问题。