用于训练物理约束神经网络的双锥梯度下降

物理约束神经网络(PINNs)已成为通过最小化包含边界损失和 PDE 残差损失的组合损失函数来求解偏微分方程( PDE)的热门方法。尽管它们在各种科学计算任务中表现出卓越的经验性能，但 PINNs 常常无法生成合理的解，而这种异常行为难以解释和解决。在本文中，我们识别到 PINNs 在梯度的每个损失函数在幅度上存在显著不平衡且呈现负内积值时会受到 adverse 训练。为了解决这些问题，我们提出了一种新型优化框架Dual Cone Gradient Descent(DCGD)，该框架调整更新梯度的方向，以确保其落在双锥区域内。该区域被定义为与 PDE 残差损失梯度和边界损失梯度的内积均为非负的向量集合。理论上，我们在非凸设置中分析了 DCGD 算法的收敛性。在各种基准方程上，我们展示了 DCGD 在各种评估指标上的优势。特别是，与现有优化模型相比，DCGD 在 PINNs 和复杂 PDE 的失效模式方面实现了更高的预测精度和更好的训练稳定性。此外，DCGD 可以通过结合学习率退火和神经切向核(NTK)等流行的 PINNs 策略进行进一步改进。