Dropout 在浅层线性神经网络上的渐近收敛速率

我们分析了将 Dropout 与 Dropconnect 应用于浅层线性神经网络（NNs）——也可视为使用特定正则化项进行矩阵分解——时，其目标函数所诱导梯度流的收敛速率。此类 Dropout 算法因此是使用取值为 0、1 的随机变量在训练期间过滤权重以避免特征协同适应的正则化技术。通过借助近期非凸优化结果并对极小点集合及损失函数 Hessian 进行细致分析，我们得到（i）梯度流的局部收敛证明，以及（ii）依赖于数据、dropout 概率与 NN 宽度的收敛速率界。最后，我们将该理论界与数值模拟进行比较，定性上与收敛界一致，且在足够接近极小点启动时与之吻合。