Dropout的隐式与显式正则化效应
机器学习
2020-10-16 v3 机器学习
摘要
Dropout是一种广泛使用的正则化技术，对于许多架构而言往往是获得SOTA所必需的。本工作表明dropout引入了两种不同但纠缠的正则化效应：一种显式效应（先前工作亦有研究），源于dropout修改了期望训练目标；以及，或许令人惊讶地，一种来自dropout训练更新中随机性的额外隐式效应。该隐式正则化效应类似于小mini-batch随机梯度下降中随机性的效应。我们通过受控实验分离这两种效应。随后我们推导出解析简化式，以深度神经网络的模型与损失的导数刻画每种效应。我们证明这些简化的解析正则化子准确捕捉了dropout的重要方面，表明它们可在实践中忠实替代dropout。
引用
@article{arxiv.2002.12915,
title = {The Implicit and Explicit Regularization Effects of Dropout},
author = {Colin Wei and Sham Kakade and Tengyu Ma},
journal= {arXiv preprint arXiv:2002.12915},
year = {2020}
}
备注
Published in ICML 2020. Code available at https://github.com/cwein3/dropout-analytical