物理激活函数（PAFs）：一种将物理更有效地引入物理信息神经网络（PINNs）的方法
机器学习
2024-08-16 v2
摘要
近年来，物理信息神经网络（PINNs）的发展试图填补深度学习（DL）方法与科学计算中的解析或数值方法之间的鸿沟。然而，PINNs的训练与物理模型的最优交织仍存在诸多困难。本文引入物理激活函数（PAFs）的概念。该概念提出，不必对所有神经元使用ReLU、tanh、sigmoid等通用激活函数（AFs），而可使用数学表达式继承自所研究现象物理定律的通用AFs。PAF的公式可受问题解析解中各项的启发。我们展示了PAFs可受与所研究现象相关的任意数学公式启发，如PDE系统的初值或边界条件。我们在包括简谐振荡、Burgers、平流-对流方程与异质扩散方程在内的若干PDE上验证了PAFs的优势。PAFs的主要优势在于更高效地将PINNs与所研究物理现象及其底层数学模型进行约束与交织。该附加约束显著改善了PINNs对训练分布外测试数据的预测。此外，PAFs在不同情况下将PINNs规模缩减至多75%。并且，某些情况下损失项的值降低了1至2个数量级，这对改进PINNs训练值得注意。寻找最优值所需迭代也显著减少。结论是，使用PAFs有助于生成复杂度更低、在更长预测范围内有效性更高的PINNs。
引用
@article{arxiv.2205.14630,
title = {Physical Activation Functions (PAFs): An Approach for More Efficient Induction of Physics into Physics-Informed Neural Networks (PINNs)},
author = {Jassem Abbasi and Pål Østebø Andersen},
journal= {arXiv preprint arXiv:2205.14630},
year = {2024}
}
备注
26 pages, 9 figures