ReLU 神经网络对点和边奇异性的指数逼近速率

我们证明了在空间中维度 $d=2,3$ 的某些多面体区域 $\Omega$ 上，稳定 ReLU 神经网络（ReLU NNs）在 $H^1(\Omega)$ 中对加权解析函数类的指数表达力。这些类中的函数在开子域 $D\subset \Omega$ 上局部解析，但可能在 $\Omega$ 内部呈现孤立点奇异性，或在边界 $\partial \Omega$ 处呈现角和边奇异性。此处证明的指数表达式界意味着，对于具有解析数据的若干椭圆边值和特征值问题的解族，ReLU NNs 具有一致的指数表达力。指数逼近速率在空间维度 $d = 2$ 的直边 Lipschitz 多边形上，以及空间维度 $d=3$ 的具有平面面的 Fichera 型多面体区域上均成立。构造性证明特别表明，NN 深度和规模相对于 $H^1(\Omega)$ 中的目标 NN 逼近精度 $\varepsilon>0$ 呈多对数增长。结果尤其涵盖了具有解析数据的线性二阶椭圆偏微分方程以及某些具有解析非线性和奇异加权解析势（如电子结构模型中出现的）的非线性椭圆特征值问题的解集。在后一种情况下，函数对应于在原子核位置处呈现孤立点奇异性的电子密度。我们的发现尤其为近期报道的深度学习网络在变分电子结构算法中的成功应用提供了数学基础。