ReLU 网络的受限等距性：通过范数集中的泛化

尽管回归任务旨在对整个输入空间上的关系进行插值，但往往必须在有限训练数据下求解。然而，若假设函数能被数据很好地刻画，则仍有希望识别出具有泛化能力的模型。本工作中，我们引入神经受限等距性质（NeuRIP，Neural Restricted Isometry Property）这一一致集中事件，其中所有浅层 $\mathrm{ReLU}$ 网络均以相同质量被刻画。为推导实现 NeuRIP 的样本复杂度，我们界定了网络在次高斯（Sub-Gaussian）度量下的覆盖数并应用链化（chaining）技术。在 NeuRIP 事件成立时，我们进一步给出了经验风险任意子水平集内网络的期望风险界。我们由此得出结论：所有具有充分小经验风险的网络均一致泛化。