泄漏ReLU双层神经网络中的方向收敛与良性过拟合
机器学习
2026-02-12 v3 统计理论
机器学习
统计理论
摘要
在本文中，我们为通过梯度下降在混合数据上训练的固定宽度泄漏ReLU双层神经网络分类器提供了良性过拟合的充分条件。我们通过建立网络参数的方向收敛性以及收敛方向的分类误差界来推导结果。我们的分类误差界还导致发现了一种新近识别的相位转变。以前，(泄漏)ReLU神经网络的方向收敛仅针对梯度流建立。由于缺乏方向收敛，先前关于良性过拟合的结果仅限于在接近正交数据上训练的数据。我们的所有结果都适用于混合数据这比先前工作中关于接近正交数据的设置更广泛的数据环境。我们通过显示良性过拟合在比先前已知范围更广泛的情景下以高概率发生来证明我们的发现。我们的工作还允许我们描述当方向收敛发生时良性过拟合不可避免地失败的情形。因此，我们的工作为泄漏ReLU双层神经网络中的良性过拟合提供了更完整的图景。
引用
@article{arxiv.2505.16204,
title = {Directional Convergence, Benign Overfitting of Gradient Descent in leaky ReLU two-layer Neural Networks},
author = {Ichiro Hashimoto},
journal= {arXiv preprint arXiv:2505.16204},
year = {2026}
}
备注
41 pages, Accepted at International Conference on Learning Representations 2026 (ICLR 2026)