ReLU 深度神经网络与线性有限元

本文研究了以修正线性单元（ReLU）函数作为激活函数的深度神经网络（DNN）与连续分段线性（CPWL）函数，特别是来自单形线性有限元法（FEM）的 CPWL 函数之间的关系。我们首先考虑 FEM 的特殊情形。通过探索其节点基函数的 DNN 表示，我们给出了 FEM 中 CPWL 的 ReLU DNN 表示。我们从理论上确定，当 $d\ge2$ 时，在 ReLU DNN 中至少需要 $2$ 个隐藏层来表示 $\Omega \subseteq \mathbb{R}^d$ 中的任意线性有限元函数。因此，对于科学与工程计算中常见的 $d=2,3$，两个隐藏层的最少数量是任意 CPWL 函数能被 ReLU DNN 表示的必要且充分条件。然后我们详细说明了 $\mathbb R^d$ 中一般 CPWL 如何能被至多 $\lceil\log_2(d+1)\rceil$ 个隐藏层的 ReLU DNN 表示，并且我们给出了该表示中所需 DNN 神经元数量的估计。此外，利用 DNN 与 FEM 之间的关系，我们从理论上论证了一类特殊的低位宽 DNN 模型在应用中仍预期具有足够的表示能力。最后，作为概念验证，我们给出了使用 ReLU DNN 求解两点边值问题的一些数值结果，以展示将 DNN 应用于偏微分方程数值解的潜力。