无需堆叠反向传播的物理信息神经网络学习
机器学习
2023-02-27 v2
摘要
物理信息神经网络（PINN）已成为求解偏微分方程（PDE）的常用机器学习方法。但面对高维二阶 PDE 问题时，PINN 会因损失包含二阶导数而遭遇严重的可扩展性瓶颈，因为堆叠反向传播过程中二阶导数的计算成本随维度增长。本工作中，我们提出了一种能显著加速物理信息神经网络训练的新方法。具体而言，我们用高斯平滑模型参数化 PDE 解，并基于 Stein 恒等式证明二阶导数无需反向传播即可高效计算。我们进一步讨论了模型容量，并给出方差缩减方法以解决导数估计中的关键局限。实验结果表明，所提方法相较标准 PINN 训练可达到有竞争力的误差，但速度快得多。我们的代码发布于 https://github.com/LithiumDA/PINN-without-Stacked-BP。
引用
@article{arxiv.2202.09340,
title = {Learning Physics-Informed Neural Networks without Stacked Back-propagation},
author = {Di He and Shanda Li and Wenlei Shi and Xiaotian Gao and Jia Zhang and Jiang Bian and Liwei Wang and Tie-Yan Liu},
journal= {arXiv preprint arXiv:2202.09340},
year = {2023}
}
备注
AISTATS 2023