迭代归一化：超越标准化迈向高效白化
计算机视觉与模式识别
2019-04-09 v1 机器学习
摘要
Batch Normalization（BN）通过在 mini-batch 内执行标准化，被普遍用于加速神经网络训练并提升泛化能力。Decorrelated Batch Normalization（DBN）进一步通过白化增强了上述效果。然而，DBN 严重依赖于大批量大小，或依赖于在 GPU 上效率不佳的特征值分解。我们提出 Iterative Normalization（IterNorm），其采用牛顿迭代实现更高效的白化，同时避免特征值分解。此外，我们开展了全面研究，在理论与实验支持下表明 IterNorm 在优化与泛化之间具有更好的权衡。为此，我们专门引入 Stochastic Normalization Disturbance（SND），用于度量施加于归一化操作时的样本固有随机不确定性。在 SND 的支持下，我们从优化角度对若干现象给出自然解释，例如为何 DBN 的分组白化通常优于全白化，以及为何 BN 的精度随批量减小而退化。我们在 CIFAR-10 和 ImageNet 上通过大量实验证明 IterNorm 相对 BN 和 DBN 具有持续改进的性能和一致性。
引用
@article{arxiv.1904.03441,
title = {Iterative Normalization: Beyond Standardization towards Efficient Whitening},
author = {Lei Huang and Yi Zhou and Fan Zhu and Li Liu and Ling Shao},
journal= {arXiv preprint arXiv:1904.03441},
year = {2019}
}
备注
Accepted to CVPR 2019. The Code is available at https://github.com/huangleiBuaa/IterNorm