从边际最大化的 KKT 条件看线性分类器与漏 ReLU 网络中的良性过拟合
机器学习
2023-03-03 v1 机器学习
摘要
在 logistic 损失上通过梯度流训练的线性分类器和漏 ReLU 网络，对满足 Karush–Kuhn–Tucker（KKT）边际最大化条件的解具有隐式偏置。本文确立了若干设定，其中这些 KKT 条件的满足意味着线性分类器和双层漏 ReLU 网络中的良性过拟合：估计量插值带噪训练数据，同时很好地泛化到测试数据。这些设定包括先前工作所考虑的噪声类条件高斯变体，以及先前未观察到良性过拟合的新分布设定。我们证明的关键要素是如下观察：当训练数据近乎正交时，满足各自边际最大化问题 KKT 条件的线性分类器与漏 ReLU 网络都表现得像训练样本的近乎均匀平均。
引用
@article{arxiv.2303.01462,
title = {Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization},
author = {Spencer Frei and Gal Vardi and Peter L. Bartlett and Nathan Srebro},
journal= {arXiv preprint arXiv:2303.01462},
year = {2023}
}
备注
53 pages