动态归一化

批归一化（Batch Normalization, BN）已成为 CNN 的基本组件之一。它允许网络使用更高的学习率并加速训练。并且网络无需精心初始化。然而，在我们的工作中，我们发现对 BN 的一个简单扩展可以提升网络性能。首先，我们将 BN 扩展为对每 mini-batch 数据自适应生成缩放与平移参数，称为 DN-C（批共享且通道级）。我们使用 mini-batch 数据的统计特征（$E[X], Std[X]\in\mathbb{R}^{c}$）作为 SC 模块的输入。然后我们将 BN 扩展为对每样本每通道自适应生成缩放与平移参数，称为 DN-B（批与通道级）。我们的实验表明 DN-C 模型无法正常训练，但 DN-B 模型具有非常好的鲁棒性。在分类任务中，DN-B 仅以 0.6% 的额外乘加运算（Mult-Adds）便在 ImageNet-100 上将 MobileNetV2 的准确率提升超过 2%。在检测任务中，DN-B 在相同设置下可将 SSDLite 在 MS-COCO 上的准确率提升近 4% mAP。与 BN 相比，DN-B 在使用更高学习率或更小的批大小时具有稳定的性能。