用最小宽度的 ReLU 网络逼近连续函数

本文关注具有 ReLU 激活的深度前馈神经网络的深度表达能力。具体而言，我们回答以下问题：对固定的 $d_{in}\geq 1$，要使具有 ReLU 激活、输入维数 $d_{in}$、隐藏层宽度至多为 $w$ 且深度任意的神经网络能任意好地逼近任意连续的实值 $d_{in}$ 元函数，最小宽度 $w$ 是多少？结果表明该最小宽度恰为 $d_{in}+1$。即，若所有隐藏层宽度均以 $d_{in}$ 为界，则即便在无限深度极限下，ReLU 网络也只能表达非常有限的一类函数；另一方面，任意连续函数在上 $d_{in}$ 维单位立方体上均可被所有隐藏层宽度恰为 $d_{in}+1$ 的 ReLU 网络任意精度逼近。我们的构造实际上表明任意连续函数 $f:[0,1]^{d_{in}}\to\mathbb R^{d_{out}}$ 可被宽度为 $d_{in}+d_{out}$ 的网络逼近。我们就此逼近给出了依 $f$ 的连续模的定量深度估计。