分段线性网络中 Dropout 的实证分析
机器学习
2014-01-03 v2 机器学习
神经与进化计算
摘要
近期提出的神经网络 Dropout 训练准则因其简洁性、作为正则化器的显著有效性，以及其被解释为共享参数的指数级大规模网络集成的训练过程而备受关注。在本工作中，我们对与 Dropout 有效性相关的几个问题进行了实证研究，特别是针对采用流行的修正线性激活函数（rectified linear activation function）的网络。我们通过在小模型中精确评估几何平均值，研究了测试时权重缩放推断过程的质量，并将几何平均的性能与集成技术中更常用的算术平均进行了比较。我们通过训练不带绑定权重的掩码网络集成，探讨了绑定权重对集成解释的影响。最后，我们研究了一种基于最大似然集成梯度的有偏估计量的替代准则。
引用
@article{arxiv.1312.6197,
title = {An empirical analysis of dropout in piecewise linear networks},
author = {David Warde-Farley and Ian J. Goodfellow and Aaron Courville and Yoshua Bengio},
journal= {arXiv preprint arXiv:1312.6197},
year = {2014}
}
备注
Extensive updates; 8 pages plus acknowledgements/references