如何在带批归一化的残差网络上正确使用 Dropout
机器学习
2023-02-14 v1 计算机视觉与模式识别
摘要
为深度神经网络的稳定优化，诸如 dropout 与批归一化等正则化方法已用于多种任务。然而，应用 dropout 的正确位置鲜有讨论，且不同使用者采用了不同位置。本研究探讨应用 dropout 的正确位置。我们证明，对于带批归一化的残差网络，在特定位置应用 dropout 可提升性能，而在其他位置应用则会降低性能。基于理论分析，我们给出应用 dropout 正确位置的准则：在残差分支中，于最后一个批归一化之后、最后一个权重层之前应用一个 dropout。我们提供详尽的理论解释以支持该主张，并通过模块测试加以验证。此外，我们研究了生成最终预测的头部中 dropout 的正确位置。尽管当前共识是在全局平均池化之后应用 dropout，我们证明在全局平均池化之前应用 dropout 可得到更稳定的输出。所提准则通过使用不同数据集与模型的实验得到验证。
引用
@article{arxiv.2302.06112,
title = {How to Use Dropout Correctly on Residual Networks with Batch Normalization},
author = {Bum Jun Kim and Hyeyeon Choi and Hyeonah Jang and Donggeon Lee and Sang Woo Kim},
journal= {arXiv preprint arXiv:2302.06112},
year = {2023}
}
备注
10 pages, 4 figures