自适应激活函数加速深度与物理信息神经网络的收敛
计算物理
2020-01-29 v1
摘要
我们采用自适应激活函数用于深度与物理信息神经网络(PINNs)中的回归,以逼近光滑与不连续函数以及线性和非线性偏微分方程的解。具体地,我们求解具有光滑解的非线性 Klein-Gordon 方程、可容纳高梯度解的非线性 Burgers 方程以及 Helmholtz 方程。我们在激活函数中引入一个可缩放超参数,它可被优化以实现网络的最佳性能,因为它动态地改变了优化过程中所涉损失函数的拓扑。自适应激活函数比传统激活函数(固定激活)具有更好的学习能力,因为它极大改善了收敛速率(尤其在训练早期)以及解的精度。为了更好地理解学习过程,我们在频域绘制神经网络解,以考察网络如何 successively 捕捉解中存在的不同频带。我们既考虑获得近似解的正问题,也考虑辨识控制方程中所涉参数的反问题。我们的仿真结果表明,所提方法是一种非常简单而有效的途径,可提高神经网络对非线性函数及偏微分方程解的逼近效率、鲁棒性与精度,尤其对正问题。
引用
@article{arxiv.1906.01170,
title = {Adaptive activation functions accelerate convergence in deep and physics-informed neural networks},
author = {Ameya D. Jagtap and George Em Karniadakis},
journal= {arXiv preprint arXiv:1906.01170},
year = {2020}
}
备注
24 pages, 21 figures