深度 Dropout 网络的平均场理论：深入挖掘梯度反向传播
机器学习
2020-06-11 v3 机器学习
摘要
近年来，平均场理论已被应用于神经网络的研究并取得了巨大成功。该理论已应用于各种神经网络结构，包括 CNN、RNN、残差网络和批归一化。不可避免地，近期工作也涵盖了 dropout 的使用。平均场理论表明，存在限制信号传播和梯度反向传播最大深度的深度尺度。然而，梯度反向传播是在梯度独立性假设下推导的，即前馈中使用的权重与反向传播中使用的权重独立抽取。这并非真实设定下神经网络的训练方式。相反，前馈步骤中使用的相同权重需要被传递到其对应的反向传播中。利用这一现实条件，我们对线性 dropout 网络进行了理论计算，并对 dropout 网络进行了一系列实验。我们的经验结果显示了一个有趣现象：单个输入和一对输入的梯度可反向传播的长度受相同的深度尺度支配。此外，我们研究了梯度统计度量的方差与均值之间的关系，并展示了普适性的涌现。最后，我们通过使用 MNIST 和 CIFAR10 的一系列实验研究了深度 dropout 网络的最大可训练长度，并提供了比原始工作更精确描述可训练长度的经验公式。
引用
@article{arxiv.1912.09132,
title = {Mean field theory for deep dropout networks: digging up gradient backpropagation deeply},
author = {Wei Huang and Richard Yi Da Xu and Weitao Du and Yutian Zeng and Yunce Zhao},
journal= {arXiv preprint arXiv:1912.09132},
year = {2020}
}
备注
20 pages, 7 figures