多类分类中的良性过拟合：殊途同归至插值
机器学习
2023-07-13 v3 信息论
机器学习
math.IT
摘要
关于过参数化模型中“良性过拟合”的文献大多局限于回归或二分类；然而，现代机器学习运作于多类设定下。受此差异驱动，我们研究多类线性分类中的良性过拟合。具体而言，我们考虑在可分离数据上的以下训练算法：(i) 使用交叉熵损失的经验风险最小化（ERM），其收敛至多类支持向量机（SVM）解；(ii) 使用最小二乘损失的 ERM，其收敛至最小范数插值（MNI）解；以及 (iii) 一对多 SVM 分类器。首先，我们给出一个简单的充分确定性条件，在该条件下三种算法均产生对训练数据插值且具有相等准确率的分类器。当数据由高斯混合或多项逻辑模型生成时，该条件在足够高的有效过参数化下成立。我们还表明，此充分条件在训练深度神经网络时观察到的“神经坍缩”现象下得到满足。其次，我们推导了 MNI 分类器准确率的新界，从而表明在充分过参数化下三种训练算法均导致良性过拟合。最终，我们的分析表明，在典型基于间隔的界所适用的领域之外，SVM 解也可能具备良好的泛化能力。
引用
@article{arxiv.2106.10865,
title = {Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation},
author = {Ke Wang and Vidya Muthukumar and Christos Thrampoulidis},
journal= {arXiv preprint arXiv:2106.10865},
year = {2023}
}
备注
Corrected subtle issue in the proofs of Lemmas 4 an 5. Relaxed Assumptions 1 and 2 and added error bound for ETF geometry