ReLU 神经网络中宽度不如深度重要

我们解决了 Lu 等人（2017）的一个开放问题，表明具有 $\mathbb{R}^d$ 中输入的任意目标网络可被宽度 $O(d)$ 的网络（独立于目标网络的架构）逼近，其参数数量本质上仅多出一个线性因子。鉴于先前的深度分离定理（意味着当宽度与深度的角色互换时类似结果不成立），可知深度在神经网络表达能力中比宽度扮演更显著的角色。我们将结果扩展至构造具有有界权重的网络，以及构造宽度至多为 $d+2$ 的网络，由于先前的下界，这接近最小可能宽度。这两种构造相对于目标网络在参数数量上引起了额外的多项式因子。我们还展示了使用深而窄的网络对宽而浅的网络的精确表示，这在某些情况下不会使参数数量超过目标网络。