数据几何下的稳定性边缘以下的泛化: 角色概述

理解过参数化神经网络中的泛化，取决于数据几何、神经网络结构和训练动力学之间的相互作用。本文在理论上探讨了数据几何如何控制这种隐式偏差。本文提出了针对过参数化两层ReLU网络训练稳定性边缘以下的理论结果。首先，对于支持于低维球体混合物的数据分布，我们推导了能够显著适应内在维度的泛化界限。其次，对于一族各向同性分布，这些分布在概率质量集中趋向单位球的程度有所不同，我们推导出一系列界限，表明随着质量集中趋向球体，速率会恶化。这一结果实例化了一个统一原则：当数据相对于ReLU神经元的激活阈值更难“撕裂”时，梯度下降倾向于学习捕获共享模式的表示，从而找到能够良好泛化的解决方案。相反，对于容易被撕裂的数据（例如，支持于球体的数据），梯度下降偏好记忆。我们的理论结果整合了文献中已出现的各种经验发现。