自可缩放 Tanh (Stan)：物理信息神经网络中更快的收敛与更好的泛化
机器学习
2022-05-02 v2 神经与进化计算
摘要
物理信息神经网络（Physics-informed Neural Networks, PINNs）因在天气建模、医疗保健、制造等应用中求解各类微分方程而在工程与科学文献中日益受到关注。可扩展性差是阻碍 PINNs 用于许多现实世界问题的障碍之一。为此，本文为 PINNs 提出一种自可缩放 tanh（Self-scalable tanh, Stan）激活函数。所提出的 Stan 函数光滑、非饱和且具有一个可训练参数。在训练过程中，它可使梯度顺畅流动以计算所需导数，并支持输入-输出映射的系统性缩放。理论上证明，采用所提出的 Stan 函数的 PINNs 在使用梯度下降算法时不存在伪平稳点。所提出的 Stan 在一系列涉及一般回归问题的数值研究中进行了测试，随后被用于求解多个涉及二阶导数和多维度的正问题，以及一个利用热传导数据预测杆件热扩散系数的逆问题。这些案例研究从经验上证实，与文献中现有的激活函数相比，Stan 激活函数能够实现更好的训练效果和更准确的预测。
引用
@article{arxiv.2204.12589,
title = {Self-scalable Tanh (Stan): Faster Convergence and Better Generalization in Physics-informed Neural Networks},
author = {Raghav Gnanasambandam and Bo Shen and Jihoon Chung and Xubo Yue and Zhenyu and Kong},
journal= {arXiv preprint arXiv:2204.12589},
year = {2022}
}
备注
31 pages, 12 figures