用于贝叶斯物理信息神经网络正问题与反问题的多方差副本交换随机梯度 MCMC
数值分析
2021-07-15 v1 数值分析
摘要
物理信息神经网络（PINN）已成功应用于求解多种非线性非凸正问题与反问题。然而，由于损失函数非凸以及贝叶斯反问题中存在多个最优解，训练具有挑战性。本工作中，我们提出一种多方差副本交换随机梯度 Langevin 扩散方法，以应对优化中多局部最优解的挑战以及反问题中多模态后验分布的挑战。副本交换方法能够逃离局部陷阱并加速收敛。然而，直接使用原始副本方法求解数学反问题可能效率不高，因为该方法在两个链中评估正问题求解器（似然函数）会使计算成本翻倍。为解决此问题，我们提出对能量函数估计作出不同假设，从而使得人们能够在似然函数评估中使用不同保真度的求解器。我们给出了交换率的无偏估计并给出了该格式离散化误差的估计。为验证我们的想法，我们设计并求解了四个具有多模态的反问题。所提方法也被用于训练贝叶斯 PINN 以求解正问题与反问题；与随机梯度 Langevin 扩散（SGLD）方法及原始副本交换方法相比，观测到了更快且更精确的收敛。
引用
@article{arxiv.2107.06330,
title = {Multi-variance replica exchange stochastic gradient MCMC for inverse and forward Bayesian physics-informed neural network},
author = {Guang Lin and Yating Wang and Zecheng Zhang},
journal= {arXiv preprint arXiv:2107.06330},
year = {2021}
}