是时候使用 swish 了吗？比较物理信息神经网络求解 Helmholtz 方程中的激活函数
计算物理
2021-10-18 v1 地球物理
摘要
数值求解波动方程构成了地震成像和全波形反演等应用的主要计算成本。另一种替代方法是求解频域 Helmholtz 方程，因为它可以按频率逐个求解，从而降低了维度。然而，经典 Helmholtz 求解器面临的计算挑战（例如需要求逆大型刚度矩阵）使得这些方法在大型 3D 模型或高频建模时在计算上变得不可行。此外，这些方法没有机制将解决一个问题所获得的信息转移到下一个问题。这成为了全波形反演等需要重复建模的应用的瓶颈。因此，最近提出了一种基于物理信息神经网络 (PINNs) 这一新兴范式的新方法来求解 Helmholtz 方程。该方法在解决与传统算法相关的一些挑战方面显示出了前景，包括对附加物理现象建模的灵活性以及利用迁移学习来加速计算。然而，该方法仍需进一步发展才能完全实用。其中首要的挑战是收敛速度慢和精度降低，尤其是在速度模型中存在尖锐非均匀性的情况下。因此，着眼于探索如何为 PINN Helmholtz 求解器获得更好的收敛性，我们研究了 PINN 文献中常用的不同激活函数，以及 swish 激活函数——一种 ReLU 的变体，已在许多数据科学问题上表现出更好的性能。通过比较研究，我们发现与 PINN 文献中常用的其他激活函数相比，swish 表现出更优越的性能。
引用
@article{arxiv.2110.07721,
title = {Is it time to swish? Comparing activation functions in solving the Helmholtz equation using physics-informed neural networks},
author = {Ali Al-Safwan and Chao Song and Umair bin Waheed},
journal= {arXiv preprint arXiv:2110.07721},
year = {2021}
}