ReLU$^k$ 神经网络在带点奇异性 Gevrey 类上的指数表达能力

我们分析了在 $d=2,3$ 的有界多面体区域 $\mathrm{D} \subset \mathbb{R}^d$ 中，具有点奇异性的光滑函数的深度神经网络逼近速率。对于由 $\mathrm{D}$ 中的加权 Sobolev 尺度定义的 Gevrey 正则解类（包含 I.M. Babuška 和 B.Q. Guo 的可数范数空间），我们证明了其在 Sobolev 空间中关于神经元数量和非零系数数量的指数逼近速率。作为中间结果，我们证明，在 $\mathbb{R}^d$（$d\ge 2$）中多面体区域 $\mathrm{D}$ 的任意正则单纯形剖分上，单元多项式次数为 $p\in\mathbb{N}$ 的连续分段多项式高阶（“$p$ 版本”）有限元，可以通过结合 ReLU 和 ReLU$^2$ 激活函数的神经网络被精确逼近。在多面体区域 $\mathrm{D}$ 的形状正则单纯形剖分上，神经元的数量和非零参数的数量均与有限元空间的自由度数量成正比，特别是对于 I.M. Babuška 和 B.Q. Guo 的 $hp$ 有限元方法。