Dropout 的隐式正则化
机器学习
2023-04-11 v2
摘要
理解 dropout 这一流行的正则化方法如何在神经网络训练过程中有助于获得良好的泛化解十分重要。本文给出了 dropout 隐式正则化的理论推导,并通过一系列实验加以验证。此外,我们从数值上研究了该隐式正则化的两点启示,直观地解释了 dropout 为何有助于泛化。首先,我们发现使用 dropout 训练的隐藏神经元的输入权重倾向于凝聚在孤立的取向上。凝聚是非线性学习过程中的一种特征,它使网络复杂度降低。其次,我们通过实验发现,与标准梯度下降训练相比,使用 dropout 训练得到的神经网络具有更平坦的最小值,而隐式正则化是找到平坦解的关键。尽管我们的理论主要关注用于最后隐藏层的 dropout,但我们的实验适用于神经网络训练中的通用 dropout。本工作指出了 dropout 相较于随机梯度下降的一个显著特征,并可作为充分理解 dropout 的重要基础。
引用
@article{arxiv.2207.05952,
title = {Implicit regularization of dropout},
author = {Zhongwang Zhang and Zhi-Qin John Xu},
journal= {arXiv preprint arXiv:2207.05952},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2111.01022