具有期望线性化正则化的 Dropout

Dropout 是一种训练深度神经网络的简单而有效的方法，已取得了许多令人瞩目的实证成功，并催生了近期许多理论研究。然而，出于可处理性考虑而引入的 Dropout 训练阶段与推断阶段之间的差异，在很大程度上仍未得到充分重视。在本工作中，我们首先将 Dropout 形式化为某个潜变量模型的可处理近似，从而给出参数共享的清晰视角，并使进一步的理论分析成为可能。然后，我们引入（近似）期望线性 Dropout 神经网络，并能够正式刻画其推断差异。在算法上，我们表明所提出的推断差异度量可用于对标准 Dropout 训练目标进行正则化，从而实现对差异的显式控制。我们的方法与标准 Dropout 一样简单高效。我们进一步证明了由期望线性化导致的精度损失的上界，并描述了易于进行期望线性化的输入分布类别。在三个图像分类基准数据集上的实验表明，减小推断差异确实能持续提升性能。