加速副本交换随机梯度 Langevin 扩散增强的贝叶斯 DeepONet 用于求解含噪参数 PDE
数值分析
2021-11-05 v1 机器学习
数值分析
摘要
深度算子网络（DeepONet）是一类根本不同的神经网络，我们训练其逼近非线性算子，包括参数偏微分方程（PDE）的解算子。即使在相对较小的数据集上训练，DeepONet 也展现出卓越的逼近与泛化能力。然而，当训练数据被噪声污染时（实践中经常发生），DeepONet 的性能会下降。为使 DeepONet 能在含噪数据下训练，我们提出采用副本交换 Langevin 扩散的贝叶斯框架。该框架使用两个粒子，一个用于探索、另一个用于利用 DeepONet 的损失函数景观。我们表明，所提框架的探索与利用能力能够（1）改善含噪场景下 DeepONet 的训练收敛性，以及（2）为参数 PDE 的预测解附上不确定性估计。此外，我们表明副本交换 Langevin 扩散（显著地）还相比使用最先进基于梯度的优化算法（如 Adam）训练的普通 DeepONet，在含噪场景下提升了 DeepONet 的均值预测精度。为降低副本潜在的高计算成本，本文提出一种加速的副本交换 Langevin 扩散训练框架，其利用 DeepONet 的神经网络架构将计算成本降低多达 25%，且不损害所提框架的性能。最后，我们在四个参数 PDE 问题上通过一系列实验说明了所提贝叶斯框架的有效性。
引用
@article{arxiv.2111.02484,
title = {Accelerated replica exchange stochastic gradient Langevin diffusion enhanced Bayesian DeepONet for solving noisy parametric PDEs},
author = {Guang Lin and Christian Moya and Zecheng Zhang},
journal= {arXiv preprint arXiv:2111.02484},
year = {2021}
}