深层 ReLU 网络中隐式超表面逼近容量

我们为具有 ReLU 激活函数的深层前馈神经网络发展几何逼近理论。给定维数为 $d$ 的超表面在 $\mathbb{R}^{d+1}$ 中表示为 $C^2$ 函数 $\phi$ 的图形，我们证明宽度为 $d+1$ 的深层全连接 ReLU 网络可隐式构造其零等值面作为逼近，并给出基于层数控制的精度界限。该结果直接适用于二分类场景，其中网络的符号被训练为分类器，网络的零等值面作为决策边界。我们的证明是构造性的，依赖于参考文献 [doi:10.48550/arXiv.2310.03482] 中提供的 ReLU 层的几何结构。鼓励这种几何描述，我们定义一种更易解释的等效网络结构，其中每个隐藏层的作用是投影到由该层参数派生的多面体锥。通过重复添加此类层并选择参数，使得从外部对 $\phi$ 的图形的小部分进行投影，我们以受控方式构建一个隐式逼近 $\phi$ 在半径为 $R$ 的球上的网络。该构建的精度由离散参数 $\delta$ 控制，我们表明最终误差界的容差随 $\delta^{1/2}$ 缩放，所需层数约为 $d\big(\frac{32R}{\delta}\big)^{\frac{d+1}{2}}$。