基于宽网络和有效激活函数的物理信息神经网络：最小化残差损失
机器学习
2024-06-14 v2
摘要
物理信息神经网络 (PINNs) 中的残差损失通过应用微分算子，改变了前馈神经网络中层的简单递归关系，导致损失景观与常见监督问题的损失景观本质不同。因此，依赖现有理论会导致不合理的设计选择和次优性能。在本文中，我们通过研究残差损失在临界点的特性，以寻找导致 PINNs 有效训练的条件。具体而言，我们首先表明，在某些条件下，PINNs 的残差损失可由宽神经网络全局最小化。进一步地，我们的分析还揭示了，具有良好高阶导数特性的激活函数在最小化残差损失中发挥关键作用。特别地，要解第 阶偏微分方程 (PDE)，激活函数的第 阶导数应为双射。建立的理论为设计和选择有效的 PINNs 激活函数奠定了基础，解释了为何周期激活函数在某些情况下表现出前景。在最后，我们通过在几个 PDE 上进行实验验证了我们的发现。我们的代码已公开于 https://github.com/nimahsn/pinns_tf2。
引用
@article{arxiv.2405.01680,
title = {Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations},
author = {Nima Hosseini Dashtbayaz and Ghazal Farhani and Boyu Wang and Charles X. Ling},
journal= {arXiv preprint arXiv:2405.01680},
year = {2024}
}
备注
Accepted at IJCAI 2024. V2: Corrected typos