深入探究网络中批归一化的估计偏移
计算机视觉与模式识别
2022-03-22 v1 人工智能
机器学习
摘要
批归一化(BN)是深度学习中的里程碑技术。它在训练时使用小批量统计量对激活进行归一化,而在推理时使用估计的总体统计量。本文重点研究总体统计量的估计问题。我们定义了 BN 的估计偏移量,以定量衡量其估计的总体统计量与期望统计量之间的差异。我们的主要观察是,由于网络中 BN 的堆叠,估计偏移会累积,这对测试性能有不利影响。我们进一步发现,无批量归一化(BFN)可以阻断这种估计偏移的累积。这些观察促使我们设计了 XBNBlock,在残差风格网络的瓶颈块中用 BFN 替换一个 BN。在 ImageNet 和 COCO 基准上的实验表明,XBNBlock 持续显著提升了包括 ResNet 和 ResNeXt 在内的不同架构的性能,并且似乎对分布偏移更具鲁棒性。
引用
@article{arxiv.2203.10778,
title = {Delving into the Estimation Shift of Batch Normalization in a Network},
author = {Lei Huang and Yi Zhou and Tian Wang and Jie Luo and Xianglong Liu},
journal= {arXiv preprint arXiv:2203.10778},
year = {2022}
}
备注
Accepted to CVPR 2022. The Code is available at: https://github.com/huangleiBuaa/XBNBlock