可视化物理信息神经网络的损失景观

训练神经网络需要在高维、非凸的损失表面上导航，以找到使该损失最小化的参数。在许多方面，随机梯度下降和ADAM等优化器能够可靠地找到在训练和测试数据上均表现良好的最小值，这是令人惊讶的。为了理解训练的成功，一个“损失景观”社区应运而生，研究损失函数的几何形状和优化动力学，通常使用可视化技术。然而，这些损失景观研究大多局限于图像分类的机器学习。在较新的物理信息机器学习领域，很少有工作对损失景观进行可视化，这些损失不是通过对大数据集的回归来定义的，而是通过作用于由神经网络离散化的状态场的微分算子来定义的。在这项工作中，我们对损失景观文献进行了全面回顾，并讨论了少数现有的研究损失景观的物理信息工作。然后，我们使用我们调查的一些技术来实证研究由Deep Ritz和物理损失函数的平方残差形式定义的景观。我们发现，物理信息神经网络的损失景观与文献中研究的数据驱动分类问题具有许多相同的性质。出乎意料的是，我们发现物理损失的两种公式通常会产生相似的景观，这些景观在解附近看起来是平滑的、良态的和凸的。这项工作的目的是向科学机器学习社区介绍损失景观视角，比较Deep Ritz和强形式损失，并挑战关于物理信息网络损失景观复杂性的普遍直觉。