求解偏微分方程的多级深度学习及其在 Burgers 方程中的应用
数值分析
2023-09-15 v1 人工智能
数值分析
摘要
本文发展了一种求解非线性偏微分方程(PDEs)的多级深度学习法。深度神经网络(DNNs)在求解 PDEs 方面表现出卓越性能,并在自然语言处理、计算机视觉与机器人等领域取得巨大成功。然而,训练极深网络通常是项挑战。随着 DNN 层数增加,求解由 PDE 的 DNN 解所导致的大规模非凸优化问题变得愈发困难,可能导致预测精度下降而非提升。为克服该挑战,我们提出两阶段多级深度学习(TS-MGDL)方法,将学习一个 DNN 的任务拆解为多个以阶梯状堆叠的神经网络。该方法使我们能缓解带大量参数的非凸优化问题的求解复杂度,并高效学习前级遗留的残差分量。我们证明了所提 TS-MGDL 方法的每一级/阶段均能降低损失函数的值,并通过数值实验进一步验证了该事实。尽管所提方法适用于一般 PDEs,但本文实现仅聚焦于 1D、2D 与 3D 粘性 Burgers 方程。实验结果表明,所提两阶段多级深度学习方法能高效学习方程解,并在预测精度上优于现有单级深度学习方法。具体而言,对于 1D、2D 与 3D 方程,单级深度学习的预测误差分别比 TS-MGDL 方法大 26-60、4-31 与 3-12 倍。
引用
@article{arxiv.2309.07401,
title = {Multi-Grade Deep Learning for Partial Differential Equations with Applications to the Burgers Equation},
author = {Yuesheng Xu and Taishan Zeng},
journal= {arXiv preprint arXiv:2309.07401},
year = {2023}
}