面向过参数化浅层神经网络的初始化依赖且非空洞的泛化界
机器学习
2026-04-23 v3 人工智能
摘要
过参数化神经网络通常表现出良性过拟合特性，即在参数数量超过训练样本数量的情况下仍能取得优异的泛化行为。解释良性过拟合的一个有前景方向是将泛化与距初始化的距离范数关联起来，这一动机来自经验观察：该距离通常远小于范数本身。然而，现有的初始化依赖复杂度分析使用Frobenius范数来度量距初始化的距离，在实践中对过参数化模型往往意味着空洞界。在本文中，我们为具有一般Lipschitz激活函数的浅层神经网络开发初始化依赖复杂度界。我们的界依赖于距初始化的路径范数，通过引入一种新的剥离技术来处理这一挑战以及初始化依赖约束。我们还开发了一个在常数因子内紧致的下界。最后，我们进行了经验比较，表明我们的泛化分析为过参数化网络推导出非空洞界。
引用
@article{arxiv.2604.00505,
title = {Towards Initialization-dependent and Non-vacuous Generalization Bounds for Overparameterized Shallow Neural Networks},
author = {Yunwen Lei and Yufeng Xie},
journal= {arXiv preprint arXiv:2604.00505},
year = {2026}
}