双下降中的双重麻烦:惰性 regime 下的偏差与方差(们)
机器学习
2020-04-06 v2 无序系统与神经网络
机器学习
摘要
深度神经网络可以在完美插值训练数据的同时实现卓越的泛化性能。其测试误差往往遵循“双下降”而非偏差-方差权衡标志性的 U 形曲线——这是过参数化有益作用的体现。本工作中,我们通过考虑利用随机特征回归学习高维函数的问题,在所谓的神经网络惰性学习 regime 下为这一现象建立了定量理论。我们获得了测试误差的偏差-方差分解的精确渐近表达式,并表明偏差在插值阈值处呈现相变,此后保持恒定。我们厘清了源于数据集采样的方差、源于破坏标签的加性噪声的方差,以及源于权重初始化的方差。继 Geiger 等人 2019 之后,我们首先表明后两项贡献是双下降的关键:它们导致了插值阈值处的过拟合峰值以及过参数化下测试误差的衰减。然后我们量化了通过对 K 个独立初始化估计器的输出进行集成平均如何抑制它们。当 K 趋于无穷时,测试误差在插值阈值之外保持恒定。我们进一步比较了过参数化、集成和正则化的效果。最后,我们在经典深度学习设置上进行了数值实验,以表明我们的结果在现实惰性学习场景中定性成立。
引用
@article{arxiv.2003.01054,
title = {Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime},
author = {Stéphane d'Ascoli and Maria Refinetti and Giulio Biroli and Florent Krzakala},
journal= {arXiv preprint arXiv:2003.01054},
year = {2020}
}
备注
29 pages, 12 figures