高维二值线性分类的双下降模型

我们考虑一个逻辑回归模型，其中仅使用大小为 $p$ 的特征子集在 $n$ 个训练样本上训练线性分类器。该分类器通过对逻辑损失运行梯度下降（GD）获得。对于该模型，我们研究分类误差对过参数化比率 $\kappa=p/n$ 的依赖性。首先，基于关于 GD 隐式偏置的已知确定性结果，我们揭示了高斯特征情形下的相变现象：当 $\kappa<\kappa_\star$ 时，GD 的分类误差与最大似然（ML）解相同；当 $\kappa>\kappa_\star$ 时，与最大间隔（SVM）解相同。接下来，利用凸高斯极小极大定理（CGMT），我们尖锐刻画了 ML 与 SVM 解的性能。结合这些结果，我们获得了显式刻画不同 $\kappa$ 值下分类误差的曲线。数值结果验证了理论预测，并揭示了双下降现象，补充了线性回归设定中近期类似发现以及更复杂学习场景中的经验观测。