扩展批归一化
计算机视觉与模式识别
2020-03-13 v1
摘要
批归一化(BN)已成为训练现代深度网络的标准技术。然而，当批大小变小时，其有效性减弱，因为批统计估计变得不准确。这阻碍了批归一化在以下方面的使用：1) 训练需要受内存消耗限制的小批的大模型，2) 在内存资源有限的移动或嵌入式设备上训练。在本文中，我们提出一种简单但有效的方法，称为扩展批归一化(EBN)。对于 NCHW 格式的特征图，扩展批归一化沿 (N, H, W) 维度计算均值，与批归一化相同，以保持批归一化的优势。为缓解小批大小引起的问题，扩展批归一化沿 (N, C, H, W) 维度计算标准差，从而扩大了计算标准差的样本数量。我们在 MNIST、CIFAR-10/100、STL-10 和 ImageNet 数据集上分别将扩展批归一化与批归一化和组归一化进行比较。实验表明，扩展批归一化缓解了批归一化在小批大小下的问题，同时取得了与大批大小下批归一化接近的性能。
引用
@article{arxiv.2003.05569,
title = {Extended Batch Normalization},
author = {Chunjie Luo and Jianfeng Zhan and Lei Wang and Wanling Gao},
journal= {arXiv preprint arXiv:2003.05569},
year = {2020}
}