浅层神经网络的几何结构及构造性 ${\mathcal L}^2$ 代价最小化

在本文中，我们通过在不过度参数化的浅层 ReLU 网络中显式构造依赖于分类数据结构的上界来处理代价（损失）最小化问题，而不使用梯度下降。一个关键焦点是阐明近似极小值和精确极小值的几何结构。我们考虑一个 $L^2$ 代价函数，输入空间为 $\mathbb{R}^M$，输出空间为 ${\mathbb R}^Q$（其中 $Q\leq M$），且训练输入样本量可任意大。我们证明了代价函数最小值的一个上界为 $O(\delta_P)$ 阶，其中 $\delta_P$ 衡量训练数据的信噪比。在 $M=Q$ 的特殊情况下，我们显式确定了一个代价函数的精确退化局部极小值，并表明其精确值与针对 $Q\leq M$ 所得上界的相对误差为 $O(\delta_P^2)$。上界的证明给出了一个构造性训练的网络；我们表明该网络在输入空间 ${\mathbb R}^M$ 中度量了一个特定的 $Q$ 维子空间。我们评论了在该给定背景下代价函数全局极小值的刻画。