以神经元数量刻画深度网络逼近能力

本文从神经元数量的角度定量刻画深度前馈神经网络（FNNs）的逼近能力。通过构造证明，宽度为 $\mathcal{O}\big(\max\{d\lfloor N^{1/d}\rfloor,\, N+1\}\big)$、深度为 $\mathcal{O}(L)$ 的 ReLU FNNs 可以逼近 $[0,1]^d$ 上任意阶为 $\alpha\in (0,1]$ 的 Hölder 连续函数，在任意 $N,L\in \mathbb{N}^+$ 与 $p\in[1,\infty]$ 下以 $L^p$-范数度量的逼近率几乎紧地为 $\mathcal{O}\big(\sqrt{d} N^{-2\alpha/d}L^{-2\alpha/d}\big)$。更一般地，对于 $[0,1]^d$ 上连续模为 $\omega_f(\cdot)$ 的任意连续函数 $f$，构造性逼近率为 $\mathcal{O}\big(\sqrt{d}\,\omega_f( N^{-2/d}L^{-2/d})\big)$。我们还将分析推广到不规则域上的 $f$，或那些局部化于 $d_{\mathcal{M}}$ 维光滑流形 $\mathcal{M}\subseteq [0,1]^d$（$d_{\mathcal{M}}\ll d$）的 $\varepsilon$-邻域中的 $f$。特别地，在本质低维域的情形，我们给出 ReLU FNNs 在 $\varepsilon$-邻域中逼近 $f$ 的逼近率 $\mathcal{O}\big(\omega_f(\tfrac{\varepsilon}{1-\delta}\sqrt{\tfrac{d}{d_\delta}}+\varepsilon)+\sqrt{d}\,\omega_f(\tfrac{\sqrt{d}}{(1-\delta)\sqrt{d_\delta}}N^{-2/d_\delta}L^{-2/d_\delta})\big)$，其中对任意 $\delta\in(0,1)$，当将 $\mathcal{M}$ 投影到 $d_{\delta}$ 维域时作为近似等距投影的相对误差有 $d_\delta=\mathcal{O}\big(d_{\mathcal{M}}\tfrac{\ln (d/\delta)}{\delta^2}\big)$。