ReLU网络在宽度与深度意义上的最优逼近率

本文关注深度前馈神经网络在宽度与深度意义上的逼近能力。通过构造证明，宽度为$\mathcal{O}\big(\max\{d\lfloor N^{1/d}\rfloor,\, N+2\}\big)$、深度为$\mathcal{O}(L)$的ReLU网络能够以逼近率$\mathcal{O}\big(\lambda\sqrt{d} (N^2L^2\ln N)^{-\alpha/d}\big)$逼近$[0,1]^d$上的Hölder连续函数，其中$\alpha\in (0,1]$和$\lambda>0$分别为Hölder阶与常数。该速率在宽度和深度各自意义上除常数外是最优的，而现有结果仅在不含逼近率中对数因子的意义下近最优。更一般地，对于$[0,1]^d$上任意连续函数$f$，逼近率变为$\mathcal{O}\big(\,\sqrt{d}\,\omega_f\big( (N^2L^2\ln N)^{-1/d}\big)\,\big)$，其中$\omega_f(\cdot)$为连续模。我们还将分析扩展到有界集上的任意连续函数$f$。特别地，若使用深度$31$、宽度$\mathcal{O}(N)$的ReLU网络逼近$[0,1]$上Lipschitz常数为$\lambda>0$的一维Lipschitz连续函数，则就总参数量$W=\mathcal{O}(N^2)$而言的逼近率变为$\mathcal{O}(\tfrac{\lambda}{W\ln W})$，这在固定深度ReLU网络的文献中尚未被发现。