利用无网格离散化加速物理信息神经网络(PINNs)的训练
机器学习
2023-01-31 v6
摘要
我们提出一种加速物理信息神经网络(PINNs)训练的新技术：离散训练 PINNs (DT-PINNs)。已知在训练中通过自动微分重复计算 PINN 损失函数中的偏导项计算开销大，尤其对高阶导数。DT-PINNs 通过用无网格径向基函数有限差分(RBF-FD)计算的高阶精度数值离散替代这些精确空间导数，并经由稀疏矩阵向量乘法应用来进行训练。RBF-FD 的使用使得 DT-PINNs 即使在置于不规则域几何上的点云样本上也可训练。此外，尽管传统 PINNs（vanilla-PINNs）通常在 GPU 上以 32 位浮点(fp32)存储与训练，我们表明对 DT-PINNs，在 GPU 上使用 fp64 比 fp32 vanilla-PINNs 以可比精度实现显著更快的训练时间。我们通过一系列实验展示 DT-PINNs 的效率与精度。首先，我们探究网络深度对随机权重神经网络数值与自动微分的影响，表明三阶及以上精度的 RBF-FD 近似更高效且足够准确。然后将 DT-PINNs 与 vanilla-PINNs 在线性与非线性 Poisson 方程上比较，表明 DT-PINNs 在消费级 GPU 上以 2-4 倍更快训练时间取得相似损失。最后，我们还展示通过对空间导数用 RBF-FD 离散、对时间导数用自动微分，可对热方程（时空问题）的 PINN 解获得类似结果。我们的结果表明 fp64 DT-PINNs 相较 fp32 vanilla-PINNs 具有更优的代价-精度特性。
引用
@article{arxiv.2205.09332,
title = {Accelerated Training of Physics-Informed Neural Networks (PINNs) using Meshless Discretizations},
author = {Ramansh Sharma and Varun Shankar},
journal= {arXiv preprint arXiv:2205.09332},
year = {2023}
}
备注
Accepted at the 36th Annual Conference on Neural Information Processing Systems (NeurIPS 2022)