良性过拟合与二分类中岭回归解的几何性质
机器学习
2025-03-12 v1 机器学习
摘要
在本工作中，我们研究了岭回归在过参数化二分类任务中的行为。我们假设样本来自具有相反均值的（各向异性）类条件聚类分布，并允许训练标签具有一定水平的标签翻转噪声。在假设聚类分布的协方差矩阵在尾部具有高有效秩的条件下，我们刻画了岭回归实现的分类误差。我们表明，岭回归的行为在性质上取决于聚类均值向量的尺度及其与聚类分布协方差矩阵的相互作用。在尺度非常大的区域，允许良性过拟合的条件与回归任务的条件相同。我们还深入探讨了标签噪声的引入如何影响最小范数插值器 (MNI) 的行为。该设置下的最优分类器是聚类均值向量的线性变换，在无噪声设置中，MNI 近似学习了这一变换。另一方面，标签噪声的引入可以在保持相同定性行为的同时显著改变解的几何性质。
引用
@article{arxiv.2503.07966,
title = {Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification},
author = {Alexander Tsigler and Luiz F. O. Chamon and Spencer Frei and Peter L. Bartlett},
journal= {arXiv preprint arXiv:2503.07966},
year = {2025}
}
备注
115 pages, 2 figures