面向物理信息神经网络和Kolmogorov-Arnold网络的优化器

物理信息神经网络（PINNs）通过将偏微分方程（PDE）整合到神经网络的训练过程中作为软约束， revolutionized 了PDE求解的计算方法，成为科学机器学习（SciML）生态系统的重要组成部分。更近期，physics-informed Kolmogorv-Arnold networks（PIKANs）也显示出在准确性方面与PINNs相当的有效性。在其当前的实现中，PINNs和PIKANs主要使用像Adam这样的一阶方法，以及类似BFGS及其低存储变体L-BFGS的准Newton方法。然而，这些优化器常常在高度非线性和非凸损失景观中困难，导致挑战，如慢收敛、局部最小值陷阱，以及（非）退化鞍点。在本研究中，我们研究了Self-Scaled BFGS（SSBFGS）、Self-Scaled Broyden（SSBroyden）方法以及其他先进准Newton方案（包括具有不同线搜索策略的BFGS和L-BFGS）。这些方法基于历史梯度信息动态重新缩放更新，从而提高训练效率和准确性。我们使用PINNs和PIKANs在关键挑战性PDE上系统比较这些优化器，包括Burgers方程、Allen-Cahn方程、Kuramoto-Sivashinsky方程、Ginzburg-Landau方程和Stokes方程。此外，我们评估了SSBFGS和SSBroyden for Deep Operator Network（DeepONet）架构的性能，展示了其在数据驱动算子学习中的有效性。我们的发现提供了准确性提高数量级的state-of-the-art结果，无需使用自适应权重或其他通常在PINNs中使用的增强措施。