$L_2$BN：通过均衡特征的 $L_2$ 范数增强批归一化

本文中，我们从可判别性的角度分析批归一化，并发现以往研究忽略的缺陷：样本特征的 $l_2$ 范数差异会阻碍批归一化获得更具判别性的类间特征和更紧凑的类内特征。为解决此问题，我们提出一种简单而有效的方法以均衡样本特征的 $l_2$ 范数。具体而言，我们在将各样本特征输入批归一化之前对其进行 $l_2$ 归一化，从而特征具有相同量级。由于所提方法结合了 $l_2$ 归一化与批归一化，我们将其命名为 $L_2$BN。$L_2$BN 能加强类内特征的紧凑性并扩大类间特征的差异。$L_2$BN 易于实现，且无需任何额外参数或超参数即可发挥作用。我们通过图像分类与声学场景分类任务上基于多种模型的大量实验评估了 $L_2$BN 的有效性。结果表明，$L_2$BN 能提升多种神经网络模型的泛化能力并取得可观的性能改进。