论 dropout 噪声注入的近似

本文考察了针对具有负对数损失的 logistic 回归，所推导出的 dropout 噪声注入与 $L_2$ 正则化之间等价性所依据的假设。我们表明该近似方法基于发散的泰勒展开，使得后续使用该近似将 dropout 训练的 logistic 回归模型与标准正则化器进行比较的工作迄今不幸缺乏依据。此外，在任何鲁棒约束下该近似方法均被证明无效。我们展示了这一发现如何推广至使用交叉熵预测层的通用神经网络拓扑。