从欠参数化到过参数化的阻塞相变影响损失景观与泛化
机器学习
2020-01-08 v5 无序系统与神经网络
机器学习
摘要
我们论证在全连接网络中，一个相变划定了可实现或不可实现拟合的过参数化与欠参数化 regime。在一些一般条件下，我们证明该相变对于 hinge 损失是尖锐的。在整个过参数化 regime 中，训练期间不会遇到损失的劣质极小值，因为需满足的约束数量太少以至于不妨碍最小化。我们的发现支持了此相变与网络泛化性质之间的关联：当我们增加给定模型的参数数量，从欠参数化网络出发，我们观察到泛化误差呈现三个阶段：（i）初始衰减，（ii）增加直至相变点——在此处呈现尖点——以及（iii）在过参数化 regime 其余部分缓慢衰减至常数。由此我们确定了发生过拟合经典现象的区域，以及模型持续优化的区域，这与先前对现代神经网络的经验观察一致。
引用
@article{arxiv.1810.09665,
title = {A jamming transition from under- to over-parametrization affects loss landscape and generalization},
author = {Stefano Spigler and Mario Geiger and Stéphane d'Ascoli and Levent Sagun and Giulio Biroli and Matthieu Wyart},
journal= {arXiv preprint arXiv:1810.09665},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:1809.09349