物理信息神经网络的Kronecker因子近似曲率
机器学习
2024-10-31 v3 计算物理
摘要
物理信息神经网络（PINN）以难以训练而闻名。最近，基于自然梯度和高斯-牛顿方法的二阶方法显示出有希望的性能，将一阶方法达到的精度提高了几个数量级。尽管有希望，但由于评估、存储和求逆曲率矩阵的高计算成本，所提出的方法只能扩展到具有几千个参数的网络。我们提出了针对PINN损失的Kronecker因子近似曲率（KFAC），这大大降低了计算成本，并允许扩展到更大的网络。我们的方法超越了传统深度学习问题中已建立的KFAC，因为它捕获了PDE微分算子的贡献，这些贡献对优化至关重要。为了建立此类损失的KFAC，我们使用泰勒模式自动微分将微分算子的计算图描述为具有共享权重的前向网络。这使我们能够应用KFAC，这要归功于最近开发的针对权重共享网络的通用公式。实验上，我们发现基于KFAC的优化器在小问题上与昂贵的二阶方法具有竞争力，能更有利地扩展到更高维的神经网络和PDE，并且始终优于一阶方法和LBFGS。
引用
@article{arxiv.2405.15603,
title = {Kronecker-Factored Approximate Curvature for Physics-Informed Neural Networks},
author = {Felix Dangel and Johannes Müller and Marius Zeinhofer},
journal= {arXiv preprint arXiv:2405.15603},
year = {2024}
}