双下降现象简史

Belkin 等人在其发人深省的论文 [1] 中阐述并讨论了现代高复杂度学习器中风险曲线的形状。给定固定的训练样本量 $n$，此类曲线展示学习器的风险作为其复杂度某一（近似）度量 $N$ 的函数。以 $N$ 表示特征数量时，这些曲线也称为特征曲线。[1] 中的一个显著观察是，这些曲线可以显示出他们所称的双下降：随着 $N$ 增大，风险最初下降，达到最小值，然后上升直至 $N$ 等于 $n$（此时训练数据被完美拟合）。进一步增大 $N$，风险第二次也是最后一次下降，在 $N=n$ 处形成峰值。这种两次下降可能令人惊讶，但与 [1] 所报道的相反，历史上并未被忽视。我们的通讯文章提请注意一些原始的、早期的发现，这些发现对当代机器学习具有意义。