Dropout：显式形式与容量控制
机器学习
2020-03-10 v1 机器学习
摘要
我们研究dropout在各种机器学习问题中提供的容量控制。首先，我们研究用于矩阵补全的dropout，它诱导出一个数据相关的正则化器，其在期望上等于因子乘积的加权迹范数。在深度学习中，我们证明由dropout导致的数据相关正则化器直接控制底层深度神经网络类的Rademacher复杂度。这些进展使我们能够给出dropout算法在矩阵补全以及深度神经网络训练中的具体泛化误差界。我们在真实世界数据集上评估我们的理论发现，包括MovieLens、MNIST和Fashion-MNIST。
引用
@article{arxiv.2003.03397,
title = {Dropout: Explicit Forms and Capacity Control},
author = {Raman Arora and Peter Bartlett and Poorya Mianjy and Nathan Srebro},
journal= {arXiv preprint arXiv:2003.03397},
year = {2020}
}