具有受限宽度和 ReLU 激活的深度神经网络的通用函数逼近

本文关注具有 ReLU 激活和受限宽度的神经网络中深度的表达能力。我们特别对以下问题感兴趣：最小宽度 $w_{\text{min}}(d)$ 是多少，使得宽度为 $w_{\text{min}}(d)$（且任意深度）的 ReLU 网络能够任意好地逼近单位立方体 $[0,1]^d$ 上的任何连续函数？对于接近此最小宽度的 ReLU 网络，关于逼近给定函数所需的深度能得出什么结论？本文的方法基于这样一个观察：由于 ReLU 激活的凸性，ReLU 网络特别适合表示凸函数。特别地，我们证明了宽度为 $d+1$ 的 ReLU 网络可以任意好地逼近 $d$ 个变量的任何连续凸函数。这些结果随后给出了用宽度为 $d+3$ 的 ReLU 网络逼近 $d$ 维立方体 $[0,1]^d$ 上任何连续标量函数的逼近速率的定量深度估计。