用于深度残差学习的 ShakeDrop 正则化
计算机视觉与模式识别
2020-04-01 v3
摘要
过拟合是深度神经网络中的一个关键问题，即便在最新的网络架构中也是如此。本文为缓解 ResNet 及其改进网络（即 Wide ResNet、PyramidNet 和 ResNeXt）的过拟合效应，提出了一种称为 ShakeDrop 正则化的新正则化方法。ShakeDrop 受 Shake-Shake 的启发，后者是一种有效的正则化方法，但仅能应用于 ResNeXt。ShakeDrop 比 Shake-Shake 更有效，且不仅能应用于 ResNeXt，还可应用于 ResNet、Wide ResNet 和 PyramidNet。一个重要的关键是达成训练的稳定性。由于有效的正则化常导致训练不稳定，我们引入了一种训练稳定器，其是对已有正则化器的一种不寻常使用。通过在多种条件下的实验，我们展示了 ShakeDrop 良好工作的条件。
引用
@article{arxiv.1802.02375,
title = {ShakeDrop Regularization for Deep Residual Learning},
author = {Yoshihiro Yamada and Masakazu Iwamura and Takuya Akiba and Koichi Kise},
journal= {arXiv preprint arXiv:1802.02375},
year = {2020}
}