作为神经网络正则化方法的RotationOut
机器学习
2019-11-19 v1 机器学习
摘要
本文提出一种新颖的神经网络正则化方法RotationOut。与独立处理每个神经元/通道的Dropout不同,RotationOut将其输入层视为整个向量,并通过随机旋转该向量引入正则化。RotationOut经少量修改也可用于卷积层与循环层。我们进一步使用噪声分析方法解释RotationOut与Dropout在降低共适应方面的差异。利用该方法,我们也展示了如何将RotationOut/Dropout与Batch Normalization一同使用。在视觉与语言任务上进行了大量实验以证明所提方法的有效性。代码见\url{https://github.com/RotationOut/RotationOut}。
引用
@article{arxiv.1911.07427,
title = {RotationOut as a Regularization Method for Neural Network},
author = {Kai Hu and Barnabas Poczos},
journal= {arXiv preprint arXiv:1911.07427},
year = {2019}
}
备注
20 pages, 8 figures