关于 Dropout 与核范数正则化

我们给出了带有平方损失的深度线性网络中由 dropout 诱导的显式正则化项的正式且完整的刻画。我们证明： 该显式正则化项由一个 $\ell_2$ 路径正则化项和其他同样具有重缩放不变性的项组成； 该诱导正则化项的凸包络是网络映射的平方核范数； 对于足够大的 dropout 率，我们刻画了 dropout 目标函数的全局最优解。我们用实证结果验证了我们的理论发现。