物理信息神经网络在非线性情形下的挑战
机器学习
2024-11-01 v3
摘要
神经正切核（NTK）观点被广泛用于分析过参数化物理信息神经网络（PINN）的训练动力学。然而，与线性偏微分方程（PDE）的情况不同，我们展示了NTK视角在非线性情形下的不足。具体来说，我们证明NTK在初始化时产生一个随机矩阵，并且在训练过程中不是常数，这与传统观点相反。与线性情形的另一个显著区别是，即使在理想的无限宽极限下，Hessian矩阵也不会消失，因此在训练过程中不能忽略它。这促使我们采用二阶优化方法。我们探讨了这类方法在线性和非线性情形下的收敛性保证，解决了谱偏差和收敛缓慢等挑战。每个理论结果都通过线性和非线性PDE的数值示例得到支持，并强调了二阶方法在基准测试案例中的优势。
引用
@article{arxiv.2402.03864,
title = {The Challenges of the Nonlinear Regime for Physics-Informed Neural Networks},
author = {Andrea Bonfanti and Giuseppe Bruno and Cristina Cipriani},
journal= {arXiv preprint arXiv:2402.03864},
year = {2024}
}
备注
10 pages, 4 figures, appendix of 12 additional pages