正则化在高维含噪高斯混合分类中的作用

我们考虑高维双高斯混合的含噪情形，其中即便知晓簇中心的预言机也会误分类一小部分但有限比例的点。我们严格分析了正则化凸分类器（包括岭回归、铰链损失回归和逻辑回归）的泛化误差，在样本数$n$与维度$d$趋于无穷而比值固定为$\alpha= n/d$的高维极限下。我们讨论了正则化在某些情形下可达到贝叶斯最优性能的惊人效应。我们还阐明了低正则化处的插值峰值，并分析了两个簇各自大小的作用。