卷积神经网络中批归一化层位置的实证研究
计算机视觉与模式识别
2020-04-24 v3
摘要
在本文中，我们研究了通过改变批归一化（BN）层的位置如何影响卷积神经网络（CNNs）的训练。我们选择了三种不同的卷积神经网络进行实验，这些网络是 AlexNet、VGG-16 和 ResNet-20。我们表明，BN 算法所提供的训练加速可以通过使用不同于其原始论文所建议的其它 BN 层位置来进一步改善。此外，我们讨论了处于某一位置的 BN 层如何有助于一个网络的训练却无助于另一个网络。本研究考察了 BN 层的三种不同位置：卷积层与非线性激活函数之间的 BN 层、非线性激活函数之后的 BN 层，以及每个卷积层之前的 BN 层。
引用
@article{arxiv.1912.04259,
title = {An Empirical Study on Position of the Batch Normalization Layer in Convolutional Neural Networks},
author = {Moein Hasani and Hassan Khotanlou},
journal= {arXiv preprint arXiv:1912.04259},
year = {2020}
}