关于Dropout的隐式偏置
机器学习
2018-06-27 v1 人工智能
机器学习
摘要
算法方法赋予深度学习系统以隐式偏置，使其即使在过参数化设定下也能泛化。本文着重理解通过dropout（一种在深度学习中避免过拟合的流行技术）在学习过程中诱导出的此类偏置。对于单隐藏层线性神经网络，我们证明dropout倾向于使所有隐藏节点的入/出权重向量范数相等。此外，我们给出了由dropout诱导的优化景观的完整刻画。
引用
@article{arxiv.1806.09777,
title = {On the Implicit Bias of Dropout},
author = {Poorya Mianjy and Raman Arora and Rene Vidal},
journal= {arXiv preprint arXiv:1806.09777},
year = {2018}
}
备注
17 pages, 3 figures, In Proceedings of the Thirty-fifth International Conference on Machine Learning (ICML), 2018