MultiAdam：用于物理信息神经网络多尺度训练的参数尺度不变优化器
机器学习
2023-06-06 v1 数值分析
数值分析
摘要
物理信息神经网络（PINNs）近期在通过最小化PDE损失与边界损失的加权和来求解各领域偏微分方程（PDEs）方面取得了显著进展。然而，PINNs的训练存在若干关键挑战，包括缺乏理论框架以及PDE损失与边界损失之间的不平衡。本文中，我们对二阶非齐次PDEs进行分析，将其分为三类并适用于多种常见问题。我们还刻画了训练损失与实际误差之间的联系，在温和条件下保证收敛。理论分析启发我们进一步提出MultiAdam，一种利用梯度动量按参数平衡损失项的尺度不变优化器。来自不同物理领域多个问题的广泛实验结果表明，与强基线相比，我们的MultiAdam求解器可将预测精度提高1-2个数量级。
引用
@article{arxiv.2306.02816,
title = {MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale Training of Physics-informed Neural Networks},
author = {Jiachen Yao and Chang Su and Zhongkai Hao and Songming Liu and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2306.02816},
year = {2023}
}