Dropout 消除双下降

本研究表明，通过在全连接线性层旁添加 dropout 层可缓解双下降现象。近年来，这一意外的双下降现象引起了广泛关注，其表现为随着样本量或模型规模增大，预测误差率出现波动。本文认为，在线性回归中，就 dropout 率而言，最优测试误差随样本量增大而单调下降。尽管我们未对该结论给出精确的数学证明，但通过实验经验性地验证了各 dropout 率下的测试误差均下降。我们所证明的命题是：在某一范围内，当 dropout 率固定时，每个 dropout 率对应的期望测试误差随样本量增大而减小。我们的实验结果支持了上述主张，表明具有最优 dropout 率的 dropout 可在非线性神经网络中产生单调的测试误差曲线。这些实验使用 Fashion-MNIST 与 CIFAR-10 数据集完成。这些发现暗示了将 dropout 引入风险曲线缩放以应对峰值现象的潜在益处。据我们所知，本研究是首个探讨 dropout 与双下降之间关系的工作。