过参数化两层神经网络非负输出权重的自正则性

我们考虑寻找一个具有 sigmoid、修正线性单元（ReLU）或二值阶跃激活函数的两层神经网络，使其尽可能“拟合”训练数据集（以训练误差量化）的问题；并研究以下问题：\emph{低训练误差是否能保证输出层（外范数）本身的范数较小？} 对于非负输出权重的情况，我们肯定地回答了该问题。使用简单的覆盖数论证，我们证明在输入/标签对上相当温和的分布假设下；任何在多项式多数据上达到小训练误差的此类网络必然具有可控的外范数。值得注意的是，我们的结果（a）具有多项式（关于 $d$）的样本复杂度，（b）与隐藏单元数量无关（其可能非常高），（c）与训练算法无关；且（d）对数据要求相当温和（特别地，输入向量 $X\in\mathbb{R}^d$ 无需具有独立坐标）。我们随后利用所得到的界，通过\emph{胖破碎维数}（一种我们所研究网络架构所属复杂度类的尺度敏感度量）为此类网络建立泛化保证。值得注意的是，我们的泛化界同样具有良好的样本复杂度（关于 $d$ 的低次多项式），并且在对某些重要关注情形实际上是近线性的。