深度网络中dropout的惊人性质
机器学习
2017-04-21 v5 人工智能
神经与进化计算
统计理论
机器学习
统计理论
摘要
我们分析了具有修正线性单元和二次损失的深度网络中的dropout。我们的结果揭示了dropout与更传统的正则化器（如权重衰减）行为之间的惊人差异。例如，在一些简单数据集上，即使输出是输入之和，dropout训练也会产生负权重。这对抗了dropout阻碍权重共适应的建议。我们还表明，dropout惩罚可随网络深度呈指数增长，而权重衰减惩罚基本保持线性，并且dropout对输入特征、输出和网络权重的各种重新缩放不敏感。这最后的敏感性意味着dropout训练准则没有孤立的局部极小值。我们的工作揭示了dropout的新性质，扩展了我们对dropout为何成功的理解，并为进一步进展奠定基础。
引用
@article{arxiv.1602.04484,
title = {Surprising properties of dropout in deep networks},
author = {David P. Helmbold and Philip M. Long},
journal= {arXiv preprint arXiv:1602.04484},
year = {2017}
}