WeightAlign：通过权重对齐归一化激活
计算机视觉与模式识别
2020-10-15 v1
摘要
批量归一化（BN）通过利用小批量样本统计量对激活进行归一化，从而支持极深网络的训练，但其在小批量尺寸下因依赖小批量样本统计量而变得不稳定。当前的实例归一化、层归一化和组归一化等小批量解决方案使用通道统计量，即便对单个样本也可计算。这类方法不如 BN 稳定，因为它们严重依赖于单个输入样本的统计量。为解决此问题，我们提出了一种不依赖样本统计量的激活归一化方法。我们提出 WeightAlign：一种在滤波器内计算均值与缩放标准差来对权重进行归一化的方法，从而无需计算任何样本统计量即可归一化激活。我们提出的方法与批量大小无关，并在广泛的批量大小范围内保持稳定。由于权重统计量与样本统计量正交，我们可以直接将 WeightAlign 与任意激活归一化方法结合使用。我们在 CIFAR-10、CIFAR-100、ImageNet 上的分类任务、PASCAL VOC 2012 上的语义分割任务以及 Office-31 上的域适应任务中通过实验验证了这些优势。
引用
@article{arxiv.2010.07160,
title = {WeightAlign: Normalizing Activations by Weight Alignment},
author = {Xiangwei Shi and Yunqiang Li and Xin Liu and Jan van Gemert},
journal= {arXiv preprint arXiv:2010.07160},
year = {2020}
}
备注
The first three authors contributed equally; accepted by ICPR 2020