ReLU 浅层神经网络的逼近速率

由修正线性单元（ReLU）激活的神经网络在深度学习的近期发展中扮演核心角色。利用这些网络逼近 Hölder 空间函数的课题，对理解所诱导学习算法的效率至关重要。尽管该课题在具有多层隐藏神经元的深度神经网络设定下已被充分研究，对于仅含一个隐藏层的浅层网络仍属开放问题。本文中，我们给出这些网络的均匀逼近速率。我们证明，具有 $m$ 个隐藏神经元的 ReLU 浅层神经网络，当 $r<d/2 +2$ 时，可以均匀逼近 Hölder 空间 $W_\infty^r([-1, 1]^d)$ 中的函数，速率为 $O((\log m)^{\frac{1}{2} +d}m^{-\frac{r}{d}\frac{d+2}{d+4}})$。该速率非常接近最优速率 $O(m^{-\frac{r}{d}})$，因为当维度 $d$ 较大时 $\frac{d+2}{d+4}$ 接近于 $1$。