群体白化：平衡学习效率和表示能力

批量归一化(BN)是深度学习中常用的一项重要技术，用于在 mini-batch 内执行标准化。白化可进一步放大 BN 在提升模型学习效率方面的优点，而通过组归一化(GN)可避免其在推断时估计总体统计量的缺点。本文提出群体白化(GW)，它利用白化操作的优点并避免 mini-batch 内归一化的缺点。此外，我们分析了归一化对特征施加的约束，并从模型表示能力视角展示了批量大小（组数）如何影响批量（组）归一化网络的性能。该分析为实践中应用 GW 提供了理论指导。最后，我们将提出的 GW 应用于 ResNet 和 ResNeXt 架构，并在 ImageNet 与 COCO 基准上实验。结果表明，GW 持续提升不同架构的性能，在 ImageNet 上 top-1 准确率绝对提升 $1.02\%$ $\sim$ $1.49\%$，在 COCO 上边界框 AP 绝对提升 $1.82\%$ $\sim$ $3.21\%$。