用于 PDE 控制的高维参数映射的导数信息投影神经网络
数值分析
2021-03-18 v2 计算工程、金融与科学
机器学习
数值分析
摘要
由不确定性量化、贝叶斯反演、贝叶斯最优实验设计以及不确定性下优化所产生的多查询问题,需要对参数到输出的映射进行大量评估。若该参数映射是高维的且涉及偏微分方程(PDE)的昂贵求解,这些评估将变得难以承受。为应对此挑战,我们提出以投影神经网络的形式为高维 PDE 控制的参数映射构建代理模型,该网络简洁地捕捉这些映射的几何结构与内在低维性。具体而言,我们计算这些基于 PDE 的映射的雅可比矩阵,并将高维参数投影到导数信息的活跃子空间这一低维空间;我们还将可能高维的输出投影到其主子空间。这利用了如下事实:许多高维 PDE 控制的参数映射可在低维参数与输出子空间中被很好地近似。我们使用活跃子空间以及主输出子空间中的投影基向量分别构造神经网络第一层与最后一层的权重。这使我们只须在神经网络的低维层中对权重进行训练。所得神经网络的架构在一阶上捕捉了参数映射的低维结构与几何。我们证明了所提出的投影神经网络比全神经网络具有更高的泛化精度,尤其是在由昂贵的基于 PDE 的参数映射所带来的有限训练数据情形下。此外,我们表明投影网络内层自由度的数量与参数和输出维度无关,且可在与离散化维度无关的权重维度下实现高精度。
引用
@article{arxiv.2011.15110,
title = {Derivative-Informed Projected Neural Networks for High-Dimensional Parametric Maps Governed by PDEs},
author = {Thomas O'Leary-Roseberry and Umberto Villa and Peng Chen and Omar Ghattas},
journal= {arXiv preprint arXiv:2011.15110},
year = {2021}
}