PirateNets：基于残差自适应网络的物理信息深度学习
机器学习
2024-02-13 v3 数值分析
数值分析
摘要
尽管物理信息神经网络（PINNs）已成为解决由偏微分方程（PDEs）支配的正向与逆向问题的流行深度学习框架，但已知当采用更大更深的神经网络架构时，其性能会下降。我们的研究指出，这种反直觉行为的根源在于使用了不合适初始化方案的多层感知机（MLP）架构，这导致网络导数的可训练性较差，并最终导致 PDE 残差损失的不稳定最小化。为了解决这一问题，我们引入了物理信息残差自适应网络（Physics-informed Residual Adaptive Networks, PirateNets），这是一种旨在促进深度 PINN 模型稳定高效训练的新型架构。PirateNets 利用一种新颖的自适应残差连接，允许网络被初始化为浅层网络，并在训练过程中逐渐加深。我们还表明，所提出的初始化方案允许我们将给定 PDE 系统对应的适当归纳偏置编码到网络架构中。我们提供了全面的实验证据，表明 PirateNets 更易于优化，并能从显著增加的深度中提升精度，最终在各项基准测试中取得 state-of-the-art 结果。伴随本手稿的所有代码和数据将公开于 \url{https://github.com/PredictiveIntelligenceLab/jaxpi}。
引用
@article{arxiv.2402.00326,
title = {PirateNets: Physics-informed Deep Learning with Residual Adaptive Networks},
author = {Sifan Wang and Bowen Li and Yuhan Chen and Paris Perdikaris},
journal= {arXiv preprint arXiv:2402.00326},
year = {2024}
}
备注
30Pages, 15 Figures, 8 Tables