基于二次神经网络的一致逼近

在本工作中，我们考察了利用修正二次单元（ReQU）激活函数（定义为 $\max(0,x)^2$）的深度神经网络，在一致范数下逼近 Hölder 正则函数的能力。我们构造性地证明，带有 ReQU 激活的深度神经网络可以以至多 $\mathcal{O}\left(\epsilon^{-d /2r}\right)$ 个神经元和固定层数，将 $r$-Hölder 正则函数的 $R$-球（$\mathcal{H}^{r, R}([-1,1]^d)$）内任意函数逼近到任意精度 $\epsilon$。该结果凸显了逼近的有效性显著依赖于目标函数的光滑度与 ReQU 激活函数的特性。我们的证明基于用深度 ReQU 神经网络逼近局部泰勒展开，展示了它们有效捕捉 Hölder 正则函数行为的能力。此外，结果可直接推广到任意形式为 $\max(0,x)^p$（$p \geq 2$）的修正幂单元（RePU）激活函数，表明我们的发现在该激活函数族中具有更广泛的适用性。