无线性假设下的良性过拟合：梯度下降训练的神经网络分类器用于含噪线性数据
机器学习
2025-07-04 v5 统计理论
机器学习
统计理论
摘要
良性过拟合是指在含噪数据存在的情况下插值模型仍具有良好泛化能力的现象，最早在梯度下降训练的神经网络模型中观察到。为了更好地理解这一经验观察，我们考虑在随机初始化后，对逻辑损失(logistic loss)通过梯度下降训练至插值的两层神经网络的泛化误差。我们假设数据来自良好分离的类别条件对数凹分布，并允许训练标签的恒定比例被对手污染。我们表明，在此设定下，神经网络表现出良性过拟合：它们可以被驱动至零训练误差，完美拟合任意含噪训练标签，同时达到极小极大最优测试误差。与先前要求线性或基于核的预测器的良性过拟合研究不同，我们的分析在模型和学习动态均根本非线性的设定下成立。
引用
@article{arxiv.2202.05928,
title = {Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data},
author = {Spencer Frei and Niladri S. Chatterji and Peter L. Bartlett},
journal= {arXiv preprint arXiv:2202.05928},
year = {2025}
}
备注
44 pages; adds corrections to proof of Theorem 3.1