近似误差为宽度倒数与深度平方根次幂的深层网络

引入了一种具有超强逼近能力的新网络。该网络在每个神经元中使用 Floor（$\lfloor x\rfloor$）或 ReLU（$\max\{0,x\}$）激活函数，因此我们称此类网络为 Floor-ReLU 网络。对于任意超参数 $N\in\mathbb{N}^+$ 和 $L\in\mathbb{N}^+$，已证明宽度为 $\max\{d,\, 5N+13\}$、深度为 $64dL+3$ 的 Floor-ReLU 网络能够以近似误差 $3\lambda d^{\alpha/2}N^{-\alpha\sqrt{L}}$ 一致逼近 $[0,1]^d$ 上的 Hölder 函数 $f$，其中 $\alpha \in(0,1]$ 和 $\lambda$ 分别为 Hölder 阶和常数。更一般地，对于 $[0,1]^d$ 上连续模为 $\omega_f(\cdot)$ 的任意连续函数 $f$，构造性逼近速率为 $\omega_f(\sqrt{d}\,N^{-\sqrt{L}})+2\omega_f(\sqrt{d}){N^{-\sqrt{L}}}$。因此，当 $\omega_f(r)$ 随 $r\to 0$ 的变化适中时（例如对 Hölder 连续函数有 $\omega_f(r) \lesssim r^\alpha$），这一类新网络克服了逼近能力上的维数灾难，因为我们的逼近速率中要考虑的主要项本质上是 $\sqrt{d}$ 乘以一个在连续模内与 $d$ 无关的 $N$ 和 $L$ 的函数。