PINN 何时及为何训练失败：神经正切核视角

物理信息神经网络（PINNs）近来因其在处理涉及偏微分方程的广泛正问题与反问题中的灵活性而备受关注。然而，尽管其取得了显著的实证成功，人们对于此类受约束的神经网络在通过梯度下降进行训练时的行为知之甚少。更重要的是，关于此类模型有时为何完全无法训练则知之更少。在本工作中，我们旨在透过神经正切核（NTK）的视角来研究这些问题；NTK 是一种在无限宽度极限下通过梯度下降训练时捕捉全连接神经网络行为的核。具体而言，我们推导了 PINNs 的 NTK，并证明在适当条件下，它收敛到一个确定性的核，该核在无限宽度极限的训练过程中保持恒定。这使我们能够通过其极限 NTK 的视角分析 PINNs 的训练动态，并发现构成总训练误差的不同损失分量在收敛速率上存在显著差异。为解决这一根本性缺陷，我们提出了一种新颖的梯度下降算法，该算法利用 NTK 的特征值来自适应地校准总训练误差的收敛速率。最后，我们进行了一系列数值实验，以验证我们理论的正确性以及所提算法的实际有效性。本稿件附带的数据与代码公开于 \url{https://github.com/PredictiveIntelligenceLab/PINNsNTK}。