扩展物理信息神经网络（XPINN）何时提升泛化能力？
机器学习
2022-10-19 v7 数值分析
动力系统
数值分析
机器学习
摘要
物理信息神经网络（PINN）因其优异的逼近能力与泛化能力，已成为求解高维偏微分方程（PDE）的热门选择。近来，基于区域分解方法的扩展 PINN（XPINN）因在建模多尺度与多物理场问题及并行化方面的有效性而备受关注。然而，对其收敛性与泛化性质的理论理解仍属空白。本研究朝理解 XPINN 如何以及何时优于 PINN 迈出第一步。具体地，对一般多层 PINN 与 XPINN，我们首先通过 PDE 问题中目标函数的复杂度给出先验泛化界，并通过优化后网络的后验矩阵范数给出后验泛化界。此外，基于我们的界，分析了 XPINN 提升泛化的条件。具体而言，我们的理论表明 XPINN 的关键构件即区域分解，为泛化引入了权衡：一方面，XPINN 将复杂 PDE 解分解为若干简单部分，降低了学习每部分所需复杂度并提升泛化；另一方面，分解导致各子域可用训练数据减少，因而此类模型通常易过拟合且泛化性可能下降。在实验上，我们选取五个 PDE 展示 XPINN 优于、类似于或劣于 PINN 的情形，从而验证并支撑我们的新理论。
引用
@article{arxiv.2109.09444,
title = {When Do Extended Physics-Informed Neural Networks (XPINNs) Improve Generalization?},
author = {Zheyuan Hu and Ameya D. Jagtap and George Em Karniadakis and Kenji Kawaguchi},
journal= {arXiv preprint arXiv:2109.09444},
year = {2022}
}
备注
Published in SIAM Journal on Scientific Computing (SISC)