重新初始化对卷积神经网络泛化的影响
机器学习
2021-09-02 v1
摘要
近期结果表明，在训练期间重新初始化神经网络的一部分参数可改善泛化，尤其对于小训练集。我们研究了多种卷积架构在 12 个基准图像分类数据集上不同重新初始化方法的影响，分析了其潜在收益并指出了局限性。我们还引入了一种新的逐层重新初始化算法，其优于以往方法，并对观测到的泛化改善给出了解释。首先，我们表明逐层重新初始化在不增加权重范数的情况下增大了训练样本的间隔，从而带来神经网络基于间隔的泛化界改善。其次，我们证明其 settles 于损失曲面更平坦的局部极小。第三，它通过强调神经网络较低层来鼓励学习通用规则并抑制死记硬背。我们的核心结论是，对于小数据集，可使用自底向上的逐层重新初始化提升卷积神经网络的准确率，其中重新初始化的层数可依据可用计算预算而变化。
引用
@article{arxiv.2109.00267,
title = {The Impact of Reinitialization on Generalization in Convolutional Neural Networks},
author = {Ibrahim Alabdulmohsin and Hartmut Maennel and Daniel Keysers},
journal= {arXiv preprint arXiv:2109.00267},
year = {2021}
}
备注
12 figures, 7 tables