批归一化及批结构对深度卷积网络行为的影响
计算机视觉与模式识别
2018-02-22 v1
摘要
批归一化于2015年提出，通过将当前批次的激活值归一化为零均值和单位方差来加速深度卷积网络的训练。本文展示的结果揭示了批归一化的一个有趣方面：控制训练批次的结构能够影响网络所学到的内容。如果训练批次被构造为平衡批次（每类一张图像），并且推理也在平衡测试批次上进行，使用批次自身的均值和方差，那么条件结果将显著改善。网络利用平衡批次中易识别图像的强信息，并通过共享的均值和方差将其传播，以帮助判定同批次中较难图像的类别。平衡测试批次需要测试图像的标签，而实践中并不可得，但可使用较不严格的批次结构进行进一步研究，这类结构可能不需要测试图像标签。条件结果显示，对于CIFAR10等类别数较少的非平凡数据集，错误率几乎降至零。
引用
@article{arxiv.1802.07590,
title = {Batch Normalization and the impact of batch structure on the behavior of deep convolution networks},
author = {Mohamed Hajaj and Duncan Gillies},
journal= {arXiv preprint arXiv:1802.07590},
year = {2018}
}