通过初始化尺度实现的极端过拟合
机器学习
2021-05-04 v2 计算机视觉与模式识别
机器学习
摘要
我们构建了一个实验设置，其中改变初始化尺度会强烈影响 SGD 所诱导的隐式正则化，从良好的泛化性能过渡到完全记忆训练集而在测试集上进展甚微。此外，我们发现泛化能力受影响的方式与程度取决于所使用的激活函数和损失函数，其中 激活表现出极端过拟合。对于齐次 ReLU 激活的情况，我们表明该行为可归因于损失函数。我们的实证研究表明，增大初始化尺度与同一类别中不同样本间表示和梯度的错位相关。这一见解使我们能够设计一种基于梯度和表示的对齐度量来捕捉该现象。我们证明，我们的对齐度量与在图像分类任务上训练的深度模型的泛化能力相关。
引用
@article{arxiv.2008.13363,
title = {Extreme Memorization via Scale of Initialization},
author = {Harsh Mehta and Ashok Cutkosky and Behnam Neyshabur},
journal= {arXiv preprint arXiv:2008.13363},
year = {2021}
}