非均匀权重缩放的Dropout推理
机器学习
2022-04-28 v1 计算机视觉与模式识别
摘要
Dropout作为一种正则化技术，已被广泛用于防止训练神经网络时的过拟合。在训练期间，单元及其连接被随机丢弃，这可以被视为从原始模型中采样许多不同的子模型。在测试时，权重缩放和蒙特卡洛近似是两种广泛应用的近似输出方法。当所有子模型都是低偏差的复杂学习器时，这两种方法在实践中都表现良好。然而，在这项工作中，我们展示了一些子模型行为更接近高偏差模型的场景，并且非均匀权重缩放是推理时更好的近似方法。
引用
@article{arxiv.2204.13047,
title = {Dropout Inference with Non-Uniform Weight Scaling},
author = {Zhaoyuan Yang and Arpit Jain},
journal= {arXiv preprint arXiv:2204.13047},
year = {2022}
}