批归一化与权重初始化中丢弃法方差的修正
机器学习
2017-03-27 v2 神经与进化计算
摘要
我们展示了如何通过修正权重初始化和 Batch Normalization 来补偿 dropout 引入的方差，从而获得更高的准确率。尽管 dropout 可以保持神经元在训练与测试期间输入的期望值，但输入的方差有所不同。因此，我们通过简单的修正标量来校正 dropout 率和任意非线性函数对方差的影响，从而提出一种新的权重初始化方法。由于使用 dropout 训练的 Batch Normalization 是在部分输入被丢弃的情况下估计层输入分布的方差，其方差在训练与测试之间也存在差异。在使用 Batch Normalization 和 dropout 训练网络后，我们简单地在关闭 dropout 的情况下更新 Batch Normalization 的方差移动平均值，并在无数据增强的 CIFAR-10 和 CIFAR-100 上取得了 state of the art。
引用
@article{arxiv.1607.02488,
title = {Adjusting for Dropout Variance in Batch Normalization and Weight Initialization},
author = {Dan Hendrycks and Kevin Gimpel},
journal= {arXiv preprint arXiv:1607.02488},
year = {2017}
}