Whiteout：深度神经网络中的高斯自适应噪声正则化

噪声注入（NI）是缓解神经网络（NNs）过拟合的有效技术。在 dropout 和 shakeout 中实现的 Bernoulli NI 过程与 NN 模型参数的 $l_1$ 和 $l_2$ 正则化存在联系。我们提出 whiteout，这是一族通过在 NN 训练过程中注入自适应高斯噪声实现的 NI 正则化技术（NIRT）。Whiteout 是首个在不涉及 $l_2$ 正则化的情况下施加广泛 $l_{\gamma}$ 稀疏正则化 $(\gamma\in(0,2))$ 的 NIRT。Whiteout 还可扩展以提供类似于自适应 lasso 和组 lasso 的正则化。我们在具有闭式惩罚项的广义线性模型框架中建立了 whiteout 的正则化效应，并表明 whiteout 能稳定 NN 的训练，降低其对输入小扰动的敏感性。我们证明，带有 whiteout 的噪声扰动经验损失函数（pelf）几乎必然收敛到理想损失函数（ilf），且 pelf 的最小化器是 ilf 最小化器的一致估计。我们推导了 pelf 的尾部界，以确立其最小化的实际可行性。在模拟和真实数据集上，whiteout 在学习具有相对较小训练集的 NN 时优于 Bernoulli NIRT（dropout 和 shakeout），在较大训练集上也不逊色。本工作代表了对深度 NN 中加性和乘性高斯 NI 正则化效应的首次深入理论、方法和实践检验。