用于高维 PDE 的带随机平滑的物理信息神经网络中的偏差-方差权衡
机器学习
2023-11-28 v1 人工智能
数值分析
动力系统
数值分析
机器学习
摘要
尽管物理信息神经网络(PINNs)已被证明对低维偏微分方程(PDEs)有效,计算成本在高维情形中仍是障碍。这在物理信息损失中计算高阶高维导数时尤为明显。随机平滑 PINN(RS-PINN)引入高斯噪声对原神经网络模型进行随机平滑,使蒙特卡洛方法可用于导数近似,免去昂贵的自动微分。尽管其在高维中计算高效,RS-PINN 在损失与梯度中引入偏差,对收敛产生负面影响,尤其当与随机梯度下降(SGD)结合时。我们给出 RS-PINN 中偏差的全面分析,将其归因于均方误差(MSE)损失的非线性与 PDE 的非线性。我们基于 PDE 非线性阶数提出定制的偏差校正技术。无偏 RS-PINN 得以与有偏版本详细比较优劣。具体而言,有偏版本方差更低、运行更快,但因偏差而不够准确。为优化偏差-方差权衡,我们将两种方法结合为混合方法,平衡有偏版本的快速收敛与无偏版本的高精度。此外,我们给出了 RS-PINN 的增强实现。在包括 Fokker-Planck、HJB、黏性 Burgers'、Allen-Cahn 与 Sine-Gordon 方程等多种高维 PDE 上的大量实验说明了偏差-方差权衡并凸显了混合 RS-PINN 的有效性。针对具体 PDE 问题的维数与非线性,提供了选择有偏、无偏或混合版本的实证指南。
引用
@article{arxiv.2311.15283,
title = {Bias-Variance Trade-off in Physics-Informed Neural Networks with Randomized Smoothing for High-Dimensional PDEs},
author = {Zheyuan Hu and Zhouhao Yang and Yezhen Wang and George Em Karniadakis and Kenji Kawaguchi},
journal= {arXiv preprint arXiv:2311.15283},
year = {2023}
}
备注
21 pages, 5 figures