用 Ritz-Galerkin 方法研究深度学习求解偏微分方程的隐式偏置
数值分析
2020-12-10 v2 数值分析
摘要
本文旨在研究 Ritz-Galerkin（R-G）方法与深度神经网络（DNN）方法在求解偏微分方程（PDEs）中的差异，以更好地理解深度学习。为此，我们考虑求解一个特定的 Poisson 问题，其中方程右端项 f 的信息仅在 n 个样本点处可用，即 f 在有限样本点处已知。通过理论和数值研究，我们表明 R-G 方法的解对于一维（1D）问题收敛到分段线性函数，或对于高维问题收敛到正则性较低的函数。在相同的设置下，DNN 却学习到相对光滑的解而与维度无关，也就是说，DNN 在所有能在可用数据点处拟合方程的函数中，隐式地偏置向具有更多低频分量的函数。这一偏置由最近的频域原理研究（Xu 等，(2019) [17] 和 Zhang 等，(2019) [11, 19]）解释。除了传统数值方法与 DNN 在逼近视角下的相似性外，我们的工作表明学习过程中的隐式偏置（不同于传统数值方法）有助于更好地理解 DNN 的特性。
引用
@article{arxiv.2002.07989,
title = {Implicit bias with Ritz-Galerkin method in understanding deep learning for solving PDEs},
author = {Jihong Wang and Zhi-Qin John Xu and Jiwei Zhang and Yaoyu Zhang},
journal= {arXiv preprint arXiv:2002.07989},
year = {2020}
}
备注
16 pages, 34 figures