过参数化浅层 ReLU 网络中的稀疏性研究

即使在单隐藏层这一最简设定下，神经网络在其线性化 regime 之外的训练分析仍是一个悬而未决的开放问题。无限宽网络的极限通过平均场视角提供了一条颇具吸引力的前进路径，但一个关键挑战是将学习保证带回有限神经元设定，即实际算法运行的场景。为缩小这一差距并聚焦于浅层神经网络，本文研究了不同正则化策略在无限宽 regime 下也能捕捉仅需有限数量神经元的解的能力。具体而言，我们考虑 (i) 通过向训练目标注入噪声获得的隐式正则化 [Blanc et al. 19]，以及 (ii) 与平均场缩放相容的变分范数正则化 [Bach 17]。在对激活函数（例如 ReLU 即满足）的温和假设下，我们证明无论过参数化程度如何，这两种方案均由仅含有限数量神经元的函数所最小化。我们研究了该性质带来的后果，并描述了一种正则化优于另一种正则化的情形。