灾难性 Fisher 爆炸：早期阶段 Fisher 矩阵影响泛化能力
机器学习
2021-06-14 v3 机器学习
摘要
训练深度神经网络的早期阶段对损失函数的局部曲率有显著影响。例如，使用较小的学习率并不能保证稳定的优化，因为优化轨迹倾向于驶向局部曲率不断增加的损失曲面区域。我们询问这种倾向是否与广泛观察到的学习率选择强烈影响泛化能力的现象有关。我们首先表明，随机梯度下降 (SGD) 从训练开始就隐式地惩罚 Fisher 信息矩阵 (FIM) 的迹，这是局部曲率的一种度量。我们通过表明显式惩罚 FIM 的迹可以显著改善泛化能力，论证其是 SGD 中的隐式正则化器。我们强调，较差的最终泛化能力与训练早期 FIM 的迹达到较大值相吻合，我们将此称为灾难性 Fisher 爆炸。最后，为了深入了解惩罚 FIM 迹的正则化效应，我们表明它通过降低带有噪声标签样本的学习速度（相较于带有干净标签的样本）来限制记忆。
引用
@article{arxiv.2012.14193,
title = {Catastrophic Fisher Explosion: Early Phase Fisher Matrix Impacts Generalization},
author = {Stanislaw Jastrzebski and Devansh Arpit and Oliver Astrand and Giancarlo Kerg and Huan Wang and Caiming Xiong and Richard Socher and Kyunghyun Cho and Krzysztof Geras},
journal= {arXiv preprint arXiv:2012.14193},
year = {2021}
}
备注
The last two authors contributed equally. Accepted to the International Conference on Machine Learning 2021