改进批归一化人人都应知道的四件事

大多数神经网络架构的一个关键组成部分是使用归一化层，例如批归一化（Batch Normalization）。尽管批归一化在优化深度架构中被普遍使用且效用很大，但无论是从一般意义上改进批归一化，还是理解适于其他增强方法的环境，一直都具有挑战性。在本文中，我们指出了对批归一化通用形式的四项改进及其起作用的环境，从而在所有批量大小下获得性能提升，且在训练期间不需要额外计算。这些贡献包括：提出一种在推理归一化统计中考虑当前样本的方法，修正训练与推理的不一致；认识并验证 Ghost Batch Normalization 对于中小批量大小的强大正则化效应；考察权重衰减正则化对缩放与平移参数 gamma 和 beta 的影响；以及通过结合批归一化与组归一化的优势，确定一种适用于极小批量大小的新归一化算法。我们在六个数据集上实证验证结果：CIFAR-100、SVHN、Caltech-256、Oxford Flowers-102、CUB-2011 和 ImageNet。